Block представила Dessa — полнодуплексную речевую модель, обученную только на речи
Исследовательская лаборатория Block в области ИИ выпустила Dessa — речевую модель с полным дуплексом, обученную исключительно на человеческих разговорах. Block объявила о ней 23 октября 2026 года как о предварительной исследовательской версии. Dessa — это модель преобразования речи в речь от Block, которая одновременно слушает и говорит. Block утверждает, что не использовала ни текст, ни предварительно обученные модели. Это отличается от архитектур на основе текста, лежащих в основе большинства современных голосовых агентов.
КРАТКО
- Работает на: MacBook Pro M4 Max или более мощном компьютере, локально, быстрее реального времени.
- Производительность: Пока только демонстрационная версия. В живых записях слышны сигналы внимания, смех посреди фразы и естественные перебивания.
- Лучшее: Обучена на одной стойке NVIDIA GB200 NVL72 (72 графических процессора). Moshi использовала 1 016 графических процессоров H100.
- Худшее: 0 опубликованных результатов тестов. Нет весов, статьи, API или цены.
Что такое Dessa от Block?
Dessa — это настоящая модель преобразования речи в речь: на входе аудио, на выходе аудио. Согласно странице проекта Block, всё, что она знает, получено из человеческой речи.
Она работает в полном дуплексе, поэтому слушает, пока говорит. Block утверждает, что на реальных разговорах модель научилась понимать, когда можно вмешаться в беседу. Она также научилась использовать короткие сигналы внимания вроде «да» или «понятно».
В демонстрационных роликах Block Dessa смеётся посреди фразы и говорит громче, когда её просят говорить громче. В одном из роликов она разговаривает с GPT-Live-1 от OpenAI. Block утверждает, что никто не направлял ход этих разговоров.
Как работает обучение только на речи?
Большинство голосовых систем объединяют 3 компонента: распознавание речи, текстовую модель, а затем синтез речи. Команда Block утверждает, что такая цепочка отбрасывает эмоции, сарказм, смех и вздохи. Dessa непосредственно воспринимает и воспроизводит эти сигналы.
Block не опубликовала архитектуру. Вот что она раскрыла:
- Данные для обучения: только аудиозаписи человеческих разговоров. Ни текста, ни предварительно обученных моделей.
- Вычислительные ресурсы: 1 NVIDIA GB200 NVL72, который объединяет 72 графических процессора Blackwell и 36 процессоров Grace.
- Эффективность данных: Block утверждает, что Dessa освоила язык, используя в сотни раз меньше слов, чем требуется большим языковым моделям.
- Вывод: быстрее реального времени на MacBook Pro M4 Max или более мощном компьютере.
Лаборатория также объясняет, почему это сложно. Речь никогда не повторяется в точности. Произнесённое слово занимает в тысячи раз больше байтов, чем то же слово в тексте.
Moshi от Kyutai — самая известная открытая модель с полным дуплексом — использует другой подход. Moshi начинает с основы в виде текстовой языковой модели и предсказывает выровненные по времени текстовые токены до аудиотокенов. В её карточке модели указаны 7 миллионов часов предварительно обучающих аудиоданных и 1 016 графических процессоров H100.
Как Dessa сравнивается с Moshi, PersonaPlex и GPT-Live-1?
| Характеристика | Dessa (Block) | Moshi (Kyutai) | PersonaPlex-7B-v1 (NVIDIA) | GPT-Live-1 (OpenAI) |
|---|---|---|---|---|
| Отправная точка | Только речь, без текста и предварительно обученной модели | Основа в виде текстовой языковой модели Helium плюс аудио | Дообучена на весах Moshi (Moshiko) | Не раскрыта; делегирует рассуждения серверному агенту |
| Количество параметров | Не раскрыто | 8 млрд (данные Hugging Face) | 7 млрд (карточка модели) | Не раскрыто |
| Вычислительные ресурсы для обучения | 1 GB200 NVL72 (72 графических процессора) | 1 016 графических процессоров H100 | Не раскрыты | Не раскрыты |
| Аудиоданные для обучения | Не раскрыты | 7 млн ч без учителя, 2 000 ч Fisher, 20 000 ч синтетических данных | Английский Fisher, менее 10 000 ч | Не раскрыты |
| Задержка | Не раскрыта («быстрее реального времени») | 200 мс на практике, 160 мс теоретически | 0,170 с до начала реплики, 0,240 с до перебивания (FullDuplexBench) | Не раскрыта на странице модели |
| Веса и лицензия | Не опубликованы | Открытые, CC-BY 4.0 | Открытые, NVIDIA Open Model License | Закрытая |
| Работает на | MacBook Pro M4 Max или более мощном компьютере | Графическом процессоре; контрольные точки MLX, Candle и PyTorch | NVIDIA A100 / H100, Linux | Облако OpenAI |
| Доступ и цена | Предварительная исследовательская версия, список ожидания | Бесплатная загрузка | Бесплатная загрузка (с ограничениями доступа) | API, 0,05 доллара за минуту голосового слоя |
Основные выводы
- Dessa работает в полном дуплексе и преобразует речь в речь, обучаясь только на аудиозаписях человеческих разговоров.
- Block обучила её на одной стойке GB200 NVL72; Moshi использовала 1 016 H100.
- Она работает локально на MacBook Pro M4 Max, быстрее реального времени.
- Block опубликовала 0 результатов тестов, не указала количество параметров и не предоставила веса.
- Доступ предоставляется через список ожидания.
Посмотрите страницу проекта Dessa. Сравните её с статьёй о Moshi, карточкой модели PersonaPlex и документацией GPT-Live-1. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? Теперь вы также можете присоединиться к нам в Telegram.
Хотите стать нашим партнёром для продвижения вашего репозитория GitHub, страницы на Hugging Face, выпуска продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.