ByteDance Seed представи мултимодалния модел SeedRealtime
Екипът Seed на ByteDance представи SeedRealtime — голям езиков модел с пълен дуплекс, който обработва аудио, видео и текст в единна архитектура. Моделът извършва възприемане, разбиране, вземане на решения и генериране на отговори паралелно, докато получава непрекъснати мултимодални потоци, вместо да работи на отделни разговорни ходове. Според Seed разработката цели по-омни-модално взаимодействие чрез общо аудиовизуално разбиране, проактивно поведение и по-естествено редуване в разговора.
В демонстрациите системата свързва гласове с лица на шумна вечеря, проговаря, когато търсен бронзов предмет се появява в кадър в музея в Хъбей, и открива раздела 3.4 Implementation в бързо прелистван материал за ResNet. При приготвяне на еспресо тя забелязва грешка по визуалната сцена и препоръчва екстракцията да се съкрати с 2 до 3 секунди. На летище Beijing Daxing моделът игнорира несвързани разговори, използва информация, изчезнала от екрана, и намира онлайн местоположението на лентата за багаж.
SeedRealtime вече работи в приложението Doubao. ByteDance обаче не е публикувала технически доклад, брой параметри, отворени тегла или обявен краен пункт във Volcano Engine или BytePlus. Според човешка оценка на компанията проблемите с темпото са намалели наполовина спрямо каскадните системи, без посочени бенчмарк или данни за латентността.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.