Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← Към новините

ByteDance Seed представи мултимодалния модел SeedRealtime

Екипът Seed на ByteDance представи SeedRealtime — голям езиков модел с пълен дуплекс, който обработва аудио, видео и текст в единна архитектура. Моделът извършва възприемане, разбиране, вземане на решения и генериране на отговори паралелно, докато получава непрекъснати мултимодални потоци, вместо да работи на отделни разговорни ходове. Според Seed разработката цели по-омни-модално взаимодействие чрез общо аудиовизуално разбиране, проактивно поведение и по-естествено редуване в разговора.

В демонстрациите системата свързва гласове с лица на шумна вечеря, проговаря, когато търсен бронзов предмет се появява в кадър в музея в Хъбей, и открива раздела 3.4 Implementation в бързо прелистван материал за ResNet. При приготвяне на еспресо тя забелязва грешка по визуалната сцена и препоръчва екстракцията да се съкрати с 2 до 3 секунди. На летище Beijing Daxing моделът игнорира несвързани разговори, използва информация, изчезнала от екрана, и намира онлайн местоположението на лентата за багаж.

SeedRealtime вече работи в приложението Doubao. ByteDance обаче не е публикувала технически доклад, брой параметри, отворени тегла или обявен краен пункт във Volcano Engine или BytePlus. Според човешка оценка на компанията проблемите с темпото са намалели наполовина спрямо каскадните системи, без посочени бенчмарк или данни за латентността.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини