Solaris від Runway — ШІ-система, що генерує програмні інтерфейси в реальному часі
Основні моменти
- Runway представила Solaris — «модель світу інтерфейсів», яка не запускає інтерфейси користувача як код, а відтворює їх у реальному часі та безпосередньо реагує на натискання або голос.
- Система прагне замінити фіксовані застосунки динамічними середовищами, що адаптуються до користувача, і може виявитися корисною для інтерактивних покупок або наочних інструкцій.
- Через помилки під час відтворення тексту та відсутність підтримки програм читання з екрана система, побудована на відеомоделі Gen-4.5, поки що залишається дослідницьким проєктом.
Компанія Runway у сфері ШІ представила Solaris — першу модель у новій категорії, яку вона називає «моделями світу інтерфейсів». Замість виконання коду система генерує інтерфейс користувача кадр за кадром у міру взаємодії з ним.
Замість того щоб спочатку перетворювати дизайн на код, модель сама відтворює інтерфейс у роздільній здатності 720p і реагує на натискання, перетягування або голосові команди. Це суттєво відрізняється від звичайної роботи програмного забезпечення, коли операційна система визначає, що відбувається на екрані, а застосунок залишається незмінним, доки хтось не випустить оновлення.
Runway наводить кілька варіантів використання: в онлайн-магазинах сам магазин перетворюється на інтерфейс, а користувачі можуть перетягнути сорочку на своє зображення, щоб приміряти її. Магазин більше не матиме фіксованого макета, а адаптуватиметься до кожного користувача.
Для візуалізації продуктів можна сказати «пересунь стіл» або «зміни колір дивана», і сцена миттєво відреагує — Runway вважає, що це добре підходить для вибору меблів і планування інтер’єру.
Компанія також бачить можливості для інструкцій і навчання. Замість текстової відповіді, яку надає чатбот, Solaris візуально показує наступний крок у власному контексті — наприклад, демонстрацію горіння з різними матеріалами.
Runway хоче, щоб «застосунок» як фіксована одиниця зник
Solaris побудована на відеомоделі Runway Gen-4.5 і продовжує напрям, започаткований компанією разом із GWM-1. Велика мовна модель визначає, як змінюється інтерфейс, а модель світу відтворює кожен кадр. Runway також розглядає Solaris як середовище для навчання агентів ШІ, які досі зазнають невдач у таких завданнях, як бронювання готелів, оскільки їх навчають на фіксованих макетах і вони не можуть працювати із сайтами, що від них відрізняються.
Головне твердження Runway полягає в тому, що «застосунок» як фіксована одиниця зникне. Сьогодні, щоб щось зробити, потрібно відкрити відповідний попередньо створений застосунок: один для покупок, один для повідомлень, один для бронювань. Якщо операційна система зможе самостійно генерувати потрібні інтерфейси, буде менше причин розподіляти програмне забезпечення за фіксованим каталогом застосунків.
Онлайн-магазин більше не матиме фіксованого макета, який усі бачать однаково, а стане згенерованим середовищем, що адаптується до кожного користувача. Чи справді люди захочуть інтерфейси, які постійно змінюються, — питання, на яке Runway не дає відповіді.
Поки що до цього ще далеко, оскільки Runway зазначає, що стабільний і читабельний текст залишається складною проблемою, яку потрібно розв’язати, хоча інтерфейси значною мірою від нього залежать. Відкритими залишаються також питання тривалих сеансів і надійності, а неправильний, але переконливий на вигляд результат може бути гіршим, ніж повна його відсутність. Згенерований інтерфейс також має працювати з допоміжними технологіями, такими як програми читання з екрана.
Тому наразі Solaris залишається дослідницьким проєктом. Runway шукає партнерів для запуску та пропонує ранній доступ через форму.
Новини про ШІ без хайпу — відібрані людьми
Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний шість разів на рік звіт про передові технології «AI Radar», повний доступ до архіву та доступ до розділу коментарів.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.