Mistral AI представи Voxtral 3: преобразуване на реч в текст, TTS и SDK за гласови агенти
Mistral AI току-що представи Voxtral 3. Mistral Voxtral 3 е семейство модели за реч, комбинирано със SDK за гласови агенти. То включва 3 модела за транскрипция, 1 модел за преобразуване на текст в реч и SDK, изграден върху LiveKit. Едно място за слушане, разсъждение, извикване на инструменти и говорене. И четирите модела са в публичен преглед в API на Mistral.
Накратко
- Размер: Voxtral Mini Transcribe 3 има 4B параметъра. Размерът на Small Transcribe 3 не е обявен. И двата пакетни модела посочват контекст от 32k.
- Работи на: Mistral API (европейски, американски и глобални крайни точки) или на собствената ви инфраструктура чрез търговския отдел на Mistral. Изискванията за GPU и VRAM не са обявени. Mistral посочва, че Mini е подходящ за среди с ограничени ресурси.
- Производителност: В топ 3 на независимите класации за преобразуване на реч в текст, с най-силни резултати при диаризация и многоезична пакетна транскрипция.
- Най-добър резултат: 2.1% AA-WER за Small Transcribe 3, №3 в Artificial Analysis.
- Най-слаб резултат: При реално време и 240 ms: 7.4% WER във FLEURS 35 спрямо 4.2% за Gemini 3.5 Realtime.
Какво включва семейството Voxtral 3?
Mistral посочва 4 модела и 1 SDK:
- Voxtral Small Transcribe 3: водещ модел за пакетна транскрипция и диаризация. Документацията посочва също превод, въпроси и отговори върху реч, обобщаване и извикване на функции.
- Voxtral Mini Transcribe 3: модел с 4B параметъра за по-евтини и по-бързи пакетни задачи.
- Voxtral Mini Transcribe Realtime 3: поточно ASR през WebSocket с откриване на края на репликата.
- Voxtral Speech 3: преобразуване на текст в реч, наричано още Voxtral Mini TTS 3 в публикацията.
Всички модели за транскрипция поддържат диаризация и контекстно насочване. Контекстното насочване използва ключови термини или свободен текст, за да подобри разпознаването. Пакетната транскрипция обхваща 50 езика, включително 24 официални езика на ЕС.
Как работи SDK за гласови агенти Voxtral?
SDK е изграден върху LiveKit и изпълнява 3 етапа като 1 поточен процес. Realtime Transcribe 3 слуша и засича кога обаждащият се спира да говори. Общ LLM, например Mistral Small 4, разсъждава и извиква инструменти. Voxtral Speech 3 отговаря в тона на разговора до момента.
Всеки ход приключва за по-малко от 1 секунда. Агентът спира да говори, когато обаждащият се го прекъсне. Той обработва телефонни разговори през SIP, както и сесии през браузър или приложение чрез WebRTC. Тъй като всеки етап е отделен модел, екипите могат да сменят LLM, гласа или езика.
Колко точен е Voxtral Transcribe 3?
Тези числа са предоставени от Mistral:
- FLEURS 45 (WER, зададен / inferred език): Small 4.1% / 4.0%. MAI-Transcribe-2 постига същите 4.1% / 4.0%. Mini 4.6% / 4.5%. Whisper large-v3 16.0% / 14.9%.
- Диаризация (cpWER, 5 публични набора): Small 18.4%, а Mini 18.6%. Pyannote постига 19.0%, а MAI-Transcribe-2 — 20.3%.
- Разпознаване на ключови фрази (Earnings 22): Small 94.6% с контекст и 81.4% без него. Scribe v2 постига 94.3% и 84.0%.
В Artificial Analysis Small постига 2.1% AA-WER, а Mini — 2.2%. Само Fun-Realtime-ASR-preview (1.7%) и MAI-Transcribe-2 (2.0%) са по-високо в класацията. Разликата е в скоростта: коефициентът на скорост на Small е 65.8x спрямо 307.5x за MAI-Transcribe-2.
Как се сравняват транскрипцията в реално време и TTS?
Във FLEURS 35 моделът за реално време разменя ниската латентност за точност. Той постига 5.7% WER при 2 400 ms и 6.4% при 480 ms. При 240 ms WER нараства до 7.4%. Gemini 3.5 Realtime Transcribe постига 4.2%, а MAI-Transcribe-2 Streaming — 5.8%. GPT Live Transcribe (8.4%) и Scribe v2 Realtime (8.7%) изостават при всяка настройка на Voxtral.
Voxtral Speech 3 струва $13 за 1 млн. знака. Mistral посочва, че това е по-евтино от OpenAI TTS-1, Deepgram, ElevenLabs Flash и Gemini Flash. Изричните контроли обхващат emotion, pacing и emphasis. Страницата на модела посочва около 90 ms до първия аудиосигнал и 34 етикета за емоции. Pro Voice адаптира стила на говорещия от 30 минути аудио. Artificial Analysis го поставя в топ 12 и на двете арени за TTS.
Voxtral 3 спрямо MAI-Transcribe-2, Scribe v2 и Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| Разработчик | Mistral AI | Microsoft AI | ElevenLabs | |
| Параметри | Не са обявени (Mini: 4B) | Не са обявени | Не са обявени | Не са обявени |
| Езици | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER, зададен / inferred (Mistral) | 4.1% / 4.0% | 4.1% / 4.0% | 4.9% / 4.9% | 6.1% / 4.5% |
| Диаризация cpWER (Mistral) | 18.4% | 20.3% | 23.0% | 38.4% |
| AA-WER (Artificial Analysis) | 2.1% | 2.0% | 2.2% | 2.6% |
| Коефициент на скорост AA (Artificial Analysis) | 65.8x | 307.5x | 65.4x | 89.5x |
| Цена за 1 000 минути (Artificial Analysis) | $4.00 | $1.67 | $3.67 | $5.00 |
| Каталожна цена на доставчика | $0.004/мин | $0.10/час, оферта за ограничен период | $0.22/час | Таксуване на база токени, вижте цените на Google |
Колко струва Voxtral 3 и къде може да се изпълнява?
Според ценовата таблица на Mistral:
- Voxtral Mini Transcribe 3 (пакетен): $0.0035/мин
- Voxtral Small Transcribe 3: $0.004/мин
- Voxtral Mini Transcribe Realtime 3: $0.008/мин
- Voxtral Speech 3 (пакетен и в реално време): $13 за 1 млн. знака
- API за гласови агенти: $0.04/мин с Mistral Small 4, $0.08/мин с всеки друг модел за разсъждение
Моделите работят на европейските, американските и глобалните крайни точки на Mistral. OpenRouter също посочва и трите нови модела с крайни точки, хоствани в ЕС, без съхранение на данни.
Основни изводи
- Voxtral 3 обединява 3 ASR модела, 1 TTS модел и SDK за гласови агенти, изграден върху LiveKit.
- Small Transcribe 3 постига 2.1% AA-WER и заема №3 в Artificial Analysis.
- Най-добра диаризация в класацията: 18.4% cpWER, пред Pyannote и MAI-Transcribe-2.
- Пакетната транскрипция струва от $0.0035 до $0.004 на минута, а TTS — $13 за 1 млн. знака.
- Точността в реално време изостава от Gemini 3.5 Realtime, а отворени тегла не бяха обявени.
Разгледайте анонса за Voxtral 3, документацията за аудио и страниците на моделите. Цялата заслуга е за изследователя на този проект. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.