Panasonic и UCLA сделали world model, которая помогает ИИ-агенту выбирать действия на Android. Перед нажатием агент прогнозирует последствия нескольких вариантов и берёт тот, что ближе к цели.
Обычный подход пытается нарисовать следующий экран целиком. На телефоне это быстро превращается в кашу: меняются часы, уведомления, содержимое приложений. Здесь модель вместо пиксельной копии выдаёт короткое описание: откроются настройки, появится поле ввода, загрузится другая страница. Для выбора следующего шага этого достаточно — новостной заголовок в углу воспроизводить незачем.
На AndroidWorld доля выполненных заданий выросла с 46,9% до 54,3%. Это не готовый цифровой дворецкий: тест показывает улучшение конкретного агента в контролируемой среде, а не надёжность на любом телефоне и в любом приложении.
Для обучения собрали MobileWorld примерно на 1,4 млн примеров действий с Android. Внутри около 942 тысяч описаний изменений экрана и 543 тысяч пар «вопрос — ответ» о следующем состоянии. Отдельный MobileWorldBench проверяет именно прогноз последствий действия, а не поиск кнопки на уже открытом экране.
Научная статья добавляет важную деталь к аккуратному пресс-релизу: контрольный набор проверяли люди, а огромный обучающий массив размечали и фильтровали в основном модели. Ручная проверка коснулась только выборки. Значит, шум в обучающих данных возможен, даже если итоговый benchmark вычищен строже.
Работа пока ограничена человеческими действиями на Android. iOS в набор не вошла. Готового приложения, публичного API, цены и срока запуска авторы не назвали. Panasonic рассматривает технологию прежде всего для рабочих сценариев — учёта оборудования, деталей и отчётов между несколькими приложениями. Следом хотят проверить сайты и программы для компьютеров.