Mistral AI выпустила Voxtral 3: распознавание речи, синтез речи и SDK голосового агента
Mistral AI только что выпустила Voxtral 3. Mistral Voxtral 3 — это семейство речевых моделей в комплекте с SDK для голосовых агентов. В него входят 3 модели транскрибации, 1 модель преобразования текста в речь и SDK на базе LiveKit. Единое решение для прослушивания, рассуждений, вызова инструментов и речи. Все 4 модели доступны в режиме публичного предварительного просмотра в API Mistral.
Кратко
- Размер: Voxtral Mini Transcribe 3 имеет 4 млрд параметров. Размер Small Transcribe 3 не раскрывается. Для обеих пакетных моделей заявлен контекст 32 тыс. токенов.
- Где работает: API Mistral (европейские, американские и глобальные конечные точки) или ваша собственная инфраструктура через отдел продаж Mistral. Требования к GPU и VRAM не раскрываются. Mistral заявляет, что Mini подходит для сред с ограниченными ресурсами.
- Производительность: входит в тройку лучших по независимым рейтингам преобразования речи в текст, особенно сильна в диаризации и мультиязычной пакетной транскрибации.
- Лучший результат: 2,1% AA-WER у Small Transcribe 3, 3-е место по версии Artificial Analysis.
- Худший результат: в режиме реального времени при задержке 240 мс: 7,4% WER на FLEURS 35 против 4,2% у Gemini 3.5 Realtime.
Что входит в семейство Voxtral 3?
Mistral перечисляет 4 модели и 1 SDK:
- Voxtral Small Transcribe 3: флагманская модель для пакетной транскрибации и диаризации. В документации также указаны перевод, вопросы и ответы по речи, суммирование и вызов функций.
- Voxtral Mini Transcribe 3: модель с 4 млрд параметров для более дешёвых и быстрых пакетных задач.
- Voxtral Mini Transcribe Realtime 3: потоковое распознавание речи через WebSocket с определением окончания реплики.
- Voxtral Speech 3: преобразование текста в речь, также называемое Voxtral Mini TTS 3 в публикации.
Все модели транскрибации поддерживают диаризацию и контекстное смещение. Контекстное смещение использует ключевые термины или произвольный текст для повышения полноты распознавания. Пакетная транскрибация охватывает 50 языков, включая 24 официальных языка ЕС.
Как работает SDK голосового агента Voxtral?
SDK создан на базе LiveKit и объединяет 3 этапа в единый потоковый конвейер. Realtime Transcribe 3 слушает и определяет, когда собеседник прекращает говорить. Универсальная большая языковая модель, например Mistral Small 4, рассуждает и вызывает инструменты. Voxtral Speech 3 отвечает в соответствии с тоном разговора на текущий момент.
Каждая реплика обрабатывается менее чем за 1 секунду. Агент прекращает говорить, когда собеседник его перебивает. Система поддерживает телефонные звонки через SIP, а также сеансы в браузере или приложении через WebRTC. Поскольку каждый этап выполняется отдельной моделью, команды могут заменять LLM, голос или язык.
Насколько точна Voxtral Transcribe 3?
Эти показатели представлены самой Mistral:
- FLEURS 45 (WER, принудительно заданный / выведенный язык): Small — 4,1% / 4,0%. MAI-Transcribe-2 показывает такой же результат: 4,1% / 4,0%. Mini — 4,6% / 4,5%. Whisper large-v3 — 16,0% / 14,9%.
- Диаризация (cpWER, 5 общедоступных наборов): Small — 18,4%, Mini — 18,6%. Pyannote показывает 19,0%, а MAI-Transcribe-2 — 20,3%.
- Полнота распознавания ключевых фраз (Earnings 22): Small — 94,6% с контекстом и 81,4% без него. Scribe v2 показывает 94,3% и 84,0%.
В Artificial Analysis Small набирает 2,1% AA-WER, а Mini — 2,2%. Выше расположены только Fun-Realtime-ASR-preview (1,7%) и MAI-Transcribe-2 (2,0%). Разница заключается в скорости: коэффициент скорости Small составляет 65,8x против 307,5x у MAI-Transcribe-2.
Как сравниваются транскрибация в реальном времени и TTS?
На FLEURS 35 модель реального времени обменивает задержку на точность. Она показывает 5,7% WER при 2 400 мс и 6,4% при 480 мс. При 240 мс WER возрастает до 7,4%. Gemini 3.5 Realtime Transcribe показывает 4,2%, а MAI-Transcribe-2 Streaming — 5,8%. GPT Live Transcribe (8,4%) и Scribe v2 Realtime (8,7%) уступают Voxtral при любых настройках.
Voxtral Speech 3 стоит $13 за 1 млн символов. Mistral утверждает, что это дешевле OpenAI TTS-1, Deepgram, ElevenLabs Flash и Gemini Flash. Явные элементы управления включают emotion, pacing и emphasis. На странице модели указаны время до первого аудио около 90 мс и 34 эмоциональных тега. Pro Voice адаптирует стиль говорящего по 30 минутам аудио. Artificial Analysis помещает модель в топ-12 обеих арен TTS.
Voxtral 3 против MAI-Transcribe-2, Scribe v2 и Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| Разработчик | Mistral AI | Microsoft AI | ElevenLabs | |
| Параметры | Не раскрываются (Mini: 4 млрд) | Не раскрываются | Не раскрываются | Не раскрываются |
| Языки | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER, принудительно заданный / выведенный (Mistral) | 4,1% / 4,0% | 4,1% / 4,0% | 4,9% / 4,9% | 6,1% / 4,5% |
| Диаризация cpWER (Mistral) | 18,4% | 20,3% | 23,0% | 38,4% |
| AA-WER (Artificial Analysis) | 2,1% | 2,0% | 2,2% | 2,6% |
| Коэффициент скорости AA (Artificial Analysis) | 65,8x | 307,5x | 65,4x | 89,5x |
| Цена за 1 000 мин (Artificial Analysis) | $4,00 | $1,67 | $3,67 | $5,00 |
| Цена поставщика | $0,004/мин | $0,10/час, предложение ограничено по времени | $0,22/час | Оплата по токенам, см. цены Google |
Сколько стоит Voxtral 3 и где её можно запустить?
Согласно таблице цен Mistral:
- Voxtral Mini Transcribe 3 (пакетная): $0,0035/мин
- Voxtral Small Transcribe 3: $0,004/мин
- Voxtral Mini Transcribe Realtime 3: $0,008/мин
- Voxtral Speech 3 (пакетная и в реальном времени): $13 за 1 млн символов
- API голосового агента: $0,04/мин с Mistral Small 4, $0,08/мин с любой другой моделью рассуждений
Модели работают на европейских, американских и глобальных конечных точках Mistral. OpenRouter также перечисляет все 3 новые модели с конечными точками, размещёнными в ЕС, и нулевым хранением данных.
Главные выводы
- Voxtral 3 объединяет 3 модели ASR, 1 модель TTS и SDK голосового агента на базе LiveKit.
- Small Transcribe 3 достигает 2,1% AA-WER и занимает 3-е место по версии Artificial Analysis.
- Лучшая диаризация в таблице: 18,4% cpWER — выше результат, чем у Pyannote и MAI-Transcribe-2.
- Пакетная транскрибация стоит от $0,0035 до $0,004 за минуту; TTS стоит $13 за 1 млн символов.
- Точность в реальном времени уступает Gemini 3.5 Realtime, а открытые веса представлены не были.
Ознакомьтесь с анонсом Voxtral 3, документацией по аудио и страницами моделей. Вся заслуга принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? Теперь к нам можно присоединиться и в Telegram.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.