ByteDance Seed представила мультимодальну модель SeedRealtime
Команда Seed компанії ByteDance представила SeedRealtime — велику мовну модель із повним дуплексом, що об’єднує аудіо, відео й текст в одній архітектурі. Вона паралельно сприймає дані, інтерпретує їх, ухвалює рішення та формує відповіді в безперервному мультимодальному потоці, а не працює окремими репліками. Seed називає основними особливостями спільне аудіовізуальне розуміння, проактивну взаємодію та природніше визначення черговості мовлення.
Під час демонстрацій модель поєднує обличчя з голосами людей за шумною вечерею, починає говорити, коли потрібна бронзова підставка з’являється в кадрі музею Хебей, а також самостійно знаходить розділ 3.4 Implementation у швидко перегортаній статті про ResNet і зачитує параметри навчання. У сценарії з еспресо вона виявляє візуальну помилку з цілими зернами й радить скоротити екстракцію на 2–3 секунди. В аеропорту Beijing Daxing система ігнорує сторонню розмову, використовує дані, що вже зникли з екрана, і знаходить онлайн інформацію про багажну карусель.
SeedRealtime уже працює в застосунку Doubao. Водночас ByteDance не оприлюднила технічного звіту, кількості параметрів, відкритих ваг або кінцевої точки у Volcano Engine чи BytePlus. За оцінкою компанії, проблеми з темпом мовлення скоротилися вдвічі порівняно з каскадними системами; даних бенчмарку й затримки не наведено.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.