Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← До новин

ByteDance Seed представила мультимодальну модель SeedRealtime

Команда Seed компанії ByteDance представила SeedRealtime — велику мовну модель із повним дуплексом, що об’єднує аудіо, відео й текст в одній архітектурі. Вона паралельно сприймає дані, інтерпретує їх, ухвалює рішення та формує відповіді в безперервному мультимодальному потоці, а не працює окремими репліками. Seed називає основними особливостями спільне аудіовізуальне розуміння, проактивну взаємодію та природніше визначення черговості мовлення.

Під час демонстрацій модель поєднує обличчя з голосами людей за шумною вечерею, починає говорити, коли потрібна бронзова підставка з’являється в кадрі музею Хебей, а також самостійно знаходить розділ 3.4 Implementation у швидко перегортаній статті про ResNet і зачитує параметри навчання. У сценарії з еспресо вона виявляє візуальну помилку з цілими зернами й радить скоротити екстракцію на 2–3 секунди. В аеропорту Beijing Daxing система ігнорує сторонню розмову, використовує дані, що вже зникли з екрана, і знаходить онлайн інформацію про багажну карусель.

SeedRealtime уже працює в застосунку Doubao. Водночас ByteDance не оприлюднила технічного звіту, кількості параметрів, відкритих ваг або кінцевої точки у Volcano Engine чи BytePlus. За оцінкою компанії, проблеми з темпом мовлення скоротилися вдвічі порівняно з каскадними системами; даних бенчмарку й затримки не наведено.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини