Mistral AI випустила Voxtral 3: перетворення мовлення на текст, TTS і SDK голосового агента
Mistral AI щойно випустила Voxtral 3. Mistral Voxtral 3 — це сімейство мовленнєвих моделей у поєднанні з SDK для голосових агентів. До нього входять 3 моделі транскрипції, 1 модель перетворення тексту на мовлення та SDK на базі LiveKit. Єдине місце для прослуховування, міркування, викликів інструментів і мовлення. Усі 4 моделі доступні в режимі публічного попереднього перегляду в API Mistral.
Коротко
- Розмір: Voxtral Mini Transcribe 3 має 4 млрд параметрів. Розмір Small Transcribe 3 не розкривається. Для обох пакетних моделей заявлено контекст у 32 тис. токенів.
- Запускається на: API Mistral (європейські, американські та глобальні кінцеві точки) або вашій власній інфраструктурі через відділ продажів Mistral. Потреби в GPU та VRAM: не розкриваються. Mistral зазначає, що Mini підходить для середовищ з обмеженими ресурсами.
- Продуктивність: входить до топ-3 незалежних рейтингів перетворення мовлення на текст, найкращі результати демонструє в діаризації та мультимовній пакетній транскрипції.
- Найкращий результат: 2,1% AA-WER для Small Transcribe 3, №3 у Artificial Analysis.
- Найгірший результат: у режимі реального часу за 240 мс: 7,4% WER на FLEURS 35 проти 4,2% у Gemini 3.5 Realtime.
Що входить до сімейства Voxtral 3?
Mistral перелічує 4 моделі та 1 SDK:
- Voxtral Small Transcribe 3: флагманська модель для пакетної транскрипції та діаризації. Документація також вказує на підтримку перекладу, запитань і відповідей щодо мовлення, узагальнення та виклику функцій.
- Voxtral Mini Transcribe 3: модель із 4 млрд параметрів для дешевших і швидших пакетних завдань.
- Voxtral Mini Transcribe Realtime 3: потокова ASR через WebSocket із визначенням завершення репліки.
- Voxtral Speech 3: перетворення тексту на мовлення, також названа в публікації Voxtral Mini TTS 3.
Усі моделі транскрипції підтримують діаризацію та контекстне упередження. Контекстне упередження використовує ключові терміни або довільний текст для покращення повноти розпізнавання. Пакетна транскрипція охоплює 50 мов, зокрема 24 офіційні мови ЄС.
Як працює SDK голосового агента Voxtral?
SDK побудований на LiveKit і виконує 3 етапи як єдиний потоковий конвеєр. Realtime Transcribe 3 слухає та визначає, коли абонент припиняє говорити. Загальна LLM, наприклад Mistral Small 4, виконує міркування та викликає інструменти. Voxtral Speech 3 відповідає в тональності, що відповідає перебігу розмови.
Кожна репліка завершується менш ніж за 1 секунду. Агент припиняє говорити, коли абонент його перебиває. Він підтримує телефонні дзвінки через SIP, а також сеанси в браузері чи застосунку через WebRTC. Оскільки кожен етап є окремою моделлю, команди можуть замінювати LLM, голос або мову.
Наскільки точна Voxtral Transcribe 3?
Ці показники наведені самою Mistral:
- FLEURS 45 (WER, примусово задана / визначена мова): Small — 4,1% / 4,0%. MAI-Transcribe-2 показує такі самі результати: 4,1% / 4,0%. Mini — 4,6% / 4,5%. Whisper large-v3 — 16,0% / 14,9%.
- Діаризація (cpWER, 5 публічних наборів): Small — 18,4%, Mini — 18,6%. Pyannote набирає 19,0%, а MAI-Transcribe-2 — 20,3%.
- Повнота розпізнавання ключових фраз (Earnings 22): Small — 94,6% із контекстом і 81,4% без нього. Scribe v2 демонструє 94,3% і 84,0%.
У Artificial Analysis Small отримує 2,1% AA-WER, а Mini — 2,2%. Вище розташовані лише Fun-Realtime-ASR-preview (1,7%) і MAI-Transcribe-2 (2,0%). Різниця полягає у швидкості: коефіцієнт швидкості Small становить 65,8x проти 307,5x у MAI-Transcribe-2.
Як порівнюються транскрипція в реальному часі та TTS?
На FLEURS 35 модель реального часу обмінює меншу затримку на точність. Вона отримує 5,7% WER за 2 400 мс і 6,4% за 480 мс. За 240 мс WER зростає до 7,4%. Gemini 3.5 Realtime Transcribe отримує 4,2%, а MAI-Transcribe-2 Streaming — 5,8%. GPT Live Transcribe (8,4%) і Scribe v2 Realtime (8,7%) поступаються Voxtral за будь-якого налаштування.
Voxtral Speech 3 коштує $13 за 1 млн символів. Mistral зазначає, що це дешевше, ніж OpenAI TTS-1, Deepgram, ElevenLabs Flash і Gemini Flash. Явні елементи керування охоплюють emotion, pacing і emphasis. На сторінці моделі зазначено приблизно 90 мс до першого аудіосигналу та 34 емоційні теги. Pro Voice адаптує стиль мовця на основі 30 хвилин аудіо. Artificial Analysis відносить її до топ-12 в обох рейтингах TTS.
Voxtral 3 проти MAI-Transcribe-2, Scribe v2 і Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| Розробник | Mistral AI | Microsoft AI | ElevenLabs | |
| Параметри | Не розкриваються (Mini: 4 млрд) | Не розкриваються | Не розкриваються | Не розкриваються |
| Мови | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER, примусово задана / визначена (Mistral) | 4,1% / 4,0% | 4,1% / 4,0% | 4,9% / 4,9% | 6,1% / 4,5% |
| Діаризація cpWER (Mistral) | 18,4% | 20,3% | 23,0% | 38,4% |
| AA-WER (Artificial Analysis) | 2,1% | 2,0% | 2,2% | 2,6% |
| Коефіцієнт швидкості AA (Artificial Analysis) | 65,8x | 307,5x | 65,4x | 89,5x |
| Ціна за 1 000 хв (Artificial Analysis) | $4,00 | $1,67 | $3,67 | $5,00 |
| Ціна постачальника | $0,004/хв | $0,10/год, пропозиція на обмежений час | $0,22/год | Оплата за токени, див. ціни Google |
Скільки коштує Voxtral 3 і де її можна запускати?
Згідно з таблицею цін Mistral:
- Voxtral Mini Transcribe 3 (пакетний режим): $0,0035/хв
- Voxtral Small Transcribe 3: $0,004/хв
- Voxtral Mini Transcribe Realtime 3: $0,008/хв
- Voxtral Speech 3 (пакетний режим і режим реального часу): $13 за 1 млн символів
- API голосового агента: $0,04/хв із Mistral Small 4, $0,08/хв з будь-якою іншою моделлю міркування
Моделі працюють на європейських, американських і глобальних кінцевих точках Mistral. OpenRouter також перелічує всі 3 нові моделі з кінцевими точками, розміщеними в ЄС, і нульовим зберіганням даних.
Основні висновки
- Voxtral 3 об’єднує 3 моделі ASR, 1 модель TTS і SDK голосового агента на базі LiveKit.
- Small Transcribe 3 досягає 2,1% AA-WER і посідає третє місце в Artificial Analysis.
- Найкраща в рейтингу діаризація: 18,4% cpWER, випереджає Pyannote та MAI-Transcribe-2.
- Пакетна транскрипція коштує від $0,0035 до $0,004 за хвилину; TTS — $13 за 1 млн символів.
- Точність у режимі реального часу поступається Gemini 3.5 Realtime, а відкриті ваги не були представлені.
Ознайомтеся з анонсом Voxtral 3, документацією щодо аудіо та сторінками моделей. Уся подяка — досліднику цього проєкту. Також не соромтеся стежити за нами у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання з понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.