Solaris от Runway — ИИ-система, генерирующая интерфейсы ПО в реальном времени

Компания Runway, работающая в сфере ИИ, представила Solaris — первую модель в новой категории, которую она называет «мировыми моделями интерфейсов». Вместо выполнения кода система генерирует пользовательский интерфейс покадрово по мере взаимодействия с ним.

Вместо того чтобы сначала переводить дизайн в код, модель сама отображает интерфейс в разрешении 720p и реагирует на клики, перетаскивания или голосовые команды. Это радикально отличается от обычной работы программного обеспечения, при которой операционная система определяет, что происходит на экране, а приложение остаётся неизменным до выпуска обновления.

Runway перечисляет несколько вариантов применения. В интернет-магазинах сам магазин станет интерфейсом: пользователи смогут перетащить рубашку на своё изображение, чтобы примерить её. Магазин больше не будет иметь фиксированную структуру, а начнёт адаптироваться к каждому пользователю.

Для визуализации продуктов можно сказать «передвинь стол» или «измени цвет дивана», и сцена мгновенно отреагирует. Runway считает, что это подойдёт для выбора мебели и планирования интерьера.

Компания также видит применение в руководствах и обучении. Вместо текстового ответа, который выдал бы чат-бот, Solaris визуально показывает следующий шаг в собственном контексте — например, демонстрацию процесса горения с использованием разных материалов.

Runway хочет избавиться от «приложения» как фиксированной единицы

Solaris создана на основе видеомодели Runway Gen-4.5 и развивает направление, начатое компанией с помощью GWM-1. Языковая модель определяет, как меняется интерфейс, а мировая модель визуализирует каждый кадр. Runway также рассматривает Solaris как среду для обучения ИИ-агентов, которые до сих пор не справляются с такими задачами, как бронирование отелей, поскольку обучаются на фиксированных макетах и не умеют работать с сайтами, отклоняющимися от них.

Главное утверждение Runway заключается в том, что «приложение» как фиксированная единица исчезнет. Сегодня для выполнения задачи нужно открыть подходящее заранее созданное приложение: одно для покупок, другое для сообщений, третье для бронирований. Если операционная система сможет самостоятельно генерировать нужные интерфейсы, необходимость распределять программное обеспечение по фиксированному каталогу приложений станет меньше.

Интернет-магазин больше не будет фиксированной структурой, которую все видят одинаково, а превратится в генерируемую среду, адаптирующуюся к каждому пользователю. Runway оставляет открытым вопрос о том, действительно ли люди хотят, чтобы интерфейсы постоянно менялись.

Пока до этого ещё далеко: Runway признаёт, что стабильное и удобочитаемое отображение текста остаётся сложной задачей, хотя интерфейсы в значительной степени от него зависят. Открытыми остаются и вопросы продолжительности сеансов и надёжности, а убедительно выглядящий, но ошибочный результат может оказаться хуже, чем полное отсутствие результата. Сгенерированный интерфейс также должен работать со вспомогательными технологиями, такими как программы чтения с экрана.

Поэтому пока Solaris остаётся исследовательским проектом. Runway ищет партнёров для запуска и предлагает получить ранний доступ через специальную форму.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ и эксклюзивный аналитический отчёт о передовых разработках «AI Radar» шесть раз в год, иметь полный доступ к архиву и возможность оставлять комментарии.