OpenMobile-2 доводить, що агенти для смартфонів із відкритим кодом можуть конкурувати з пропрієтарними моделями

Самі по собі додаткові дані не роблять агентів для смартфонів кращими. За однакового обсягу даних найважливішим є те, на скількох різних застосунках навчається агент.

ШІ-агенти, які самостійно працюють із застосунками, навчаються переважно на практиці, але потрібні їм дані здебільшого зосереджені у великих компаніях. У результаті відкриті моделі відстають, пишуть дослідники Нанкінського університету, ШІ-компанії SenseTime та кількох інших університетів.

OpenMobile-2 — їхня спроба подолати цей розрив. Вони випускають дві моделі агентів на основі Qwen3.5 із 9 мільярдами та Qwen3.6 із 27 мільярдами параметрів, а також повне навчальне середовище, дані й інструкції для відтворення всього процесу. Автори стверджують, що їхня модель посідає одне з провідних місць серед сучасних агентів для смартфонів.

Чому відтворення 110 застосунків ефективніше за навчання на реальних

Навчання на реальних застосунках складне, оскільки облікові записи, справжні покупки та відсутність можливості скинути стан роблять процес дорогим і важким для повторення. Тому дослідники відтворили 35 застосунків, популярних переважно в Китаї, зокрема Taobao, JD, DiDi та Meituan, а також сервіси, якими користуються в усьому світі, як-от Slack і Google Drive. Разом із наявними симуляціями та застосунками, що працюють в емуляторі Android, навчальний майданчик охоплює понад 110 застосунків.

Люди-рецензенти порівнювали відтворені застосунки з оригіналами й постійно вдосконалювали їх, доки робочі процеси та інтерфейси не збіглися. Замовлення, бюджети й плани подорожей зберігаються між сеансами, а дані можуть передаватися між застосунками через буфер обміну. Кожна симуляція автоматично повертається до початкового стану, тоді як агент бачить лише знімки екрана й не має доступу до внутрішніх даних застосунку, що імітує реальне користування людиною.

На основі цієї системи команда створила близько 11 600 прикладів робочих процесів і понад 2 000 навчальних завдань з автоматизованою перевіркою успішності. Gemini 3.1 Pro від Google використовувалася як модель-учитель, що створювала приклади, а це означає, що OpenMobile-2 фактично навчається на основі закритої системи.

Найбільший прогрес — на реальних телефонах

Обидві моделі демонструють очевидний прогрес на усталених бенчмарках. В AndroidWorld більша модель підвищила результат із 67,1 до 79,9 бала, а менша — із 54,3 до 74. Попередня OpenMobile-1 набрала 64,7 бала в тому самому тесті. На складнішому бенчмарку MobileWorld, який охоплює довші завдання в кількох застосунках, більша модель покращила результат із 35,9 до 50,4 бала.

Найбільший стрибок спостерігається на реальних пристроях Android, де більша модель підвищила результат у SPA-Bench із 31,9 до 59,6 бала. Дослідники стверджують, що це найкращий результат серед відкритих моделей.

Тут різноманітність навчального середовища важливіша за сам обсяг даних. Дослідники зберегли обсяг даних незмінним і лише збільшили кількість застосунків, на яких практикувався агент, що підвищило рівень успішності на невідомих застосунках із 60,7 до 67,5 відсотка. За однакового бюджету даних різноманітність застосунків перевершує додаткові приклади з обмеженої кількості застосунків.

Навчання з підкріпленням дало лише обмежений додатковий приріст, переважно в середовищах, схожих на навчальну систему. В AndroidWorld більша модель після цього фактично показала дещо гірший результат — 79,9 замість 80,8 бала.

Прямі команди дають агентам змогу оминути лабіринт меню

Експериментальна частина дослідження виходить за межі натискань і свайпів. Понад 50 симульованих застосунків підтримують прямі команди на кшталт «додати до кошика», завдяки чому агент може не переходити меню, а сам агент вільно перемикається між обома підходами залежно від доступних можливостей.

Однак самі по собі ці команди не дуже допомагають, оскільки моделі схильні ігнорувати скорочені шляхи без цілеспрямованого навчання. Після навчання на них агенти добре ними користуються: вони розв’язують на 10,3 відсоткового пункту більше завдань і потребують приблизно на п’ять кроків менше. Дослідники стверджують, що ця здатність також переноситься на інструменти, з якими моделі не стикалися під час навчання.

На пізнішому етапі навчання з підкріпленням використання інструментів отримувало додатковий коефіцієнт, якщо виконання містило щонайменше одну пряму команду, хоча винагорода все одно залежала від фактичного завершення завдання. Штрафи застосовувалися, коли агент повідомляв про неіснуючий успіх. Наразі ці інтерфейси існують лише в симульованих застосунках, і самі дослідники називають підхід експериментальним.

Деякі результати отримано за допомогою власного бенчмарку команди, що містить 215 завдань, майже половина з яких охоплює кілька застосунків. Завершення завдання оцінює не мовна модель, а програма, яка порівнює збережені дані застосунку до та після кожного запуску. Автори також перевірили перетини між навчальними й тестовими завданнями та виявили лише незначні подібності.

У дослідженні 2025 року Microsoft Research уже класифікувала агентів API як надійніших, а агентів GUI — як гнучкіших, вказавши на мобільні застосунки як типовий випадок, коли зовнішні інтерфейси відсутні. Oppo обрала інший шлях зі своїм відкритим агентом X-OmniClaw, який працює на реальних пристроях і повторює раніше показані шляхи в застосунках на кшталт Taobao або Meituan через диплінки, замість того щоб щоразу знову переходити меню. Серед закритих моделей Google вбудувала керування смартфоном безпосередньо в Gemini 3.5 Flash.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний передовий звіт «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.