ByteDance Seed представила мультимодальную модель SeedRealtime
Команда Seed компании ByteDance представила SeedRealtime — большую языковую модель с полным дуплексом, объединяющую аудио, видео и текст в одной архитектуре. Она параллельно воспринимает данные, интерпретирует их, принимает решения и формирует ответы в непрерывном мультимодальном потоке, а не по схеме отдельных ходов диалога. Seed называет ключевыми особенностями совместное аудиовизуальное понимание, проактивное взаимодействие и более естественное управление очередностью реплик.
В демонстрациях модель сопоставляет лица и голоса участников шумной встречи, начинает говорить, когда запрошенная бронзовая подставка появляется в кадре музея Хэбэй, а также самостоятельно находит раздел 3.4 Implementation при быстром перелистывании статьи о ResNet и зачитывает параметры обучения. В сценарии с приготовлением эспрессо она замечает по изображению ошибку с цельными зернами и советует сократить экстракцию на 2–3 секунды. В аэропорту Beijing Daxing система отбрасывает посторонний разговор, использует сведения, уже исчезнувшие с табло, и обращается к интернету за данными о ленте выдачи багажа.
SeedRealtime доступна в приложении Doubao. При этом ByteDance не опубликовала технический отчет, число параметров, открытые веса или конечную точку в Volcano Engine либо BytePlus. По данным внутренней оценки компании, проблемы с темпом речи сократились вдвое по сравнению с каскадными системами; показатели бенчмарка и задержки не сообщались.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.