IBM пусна Granite Speech 5.0 2B за многоезична транскрипция и превод

IBM пусна Granite Speech 5.0 2B, нов отворен речево-езиков модел за транскрипция и превод. Granite Speech 5.0 2B е модел на IBM с 2B параметъра, който преобразува реч в текст на 6 езика. Разпространява се под лиценза Apache 2.0. IBM също така актуализира 2 съществуващи модела: ориентирания към периферни устройства Turbo CTC и ориентирания към диаризацията 4.1 2B Plus. За разработчиците изданието обхваща точна транскрипция, бърза транскрипция на устройството и транскрипции с посочени говорители.

Накратко

• Размер: 2B параметъра, плътен модел. Ядрото на LLM използва разширението YaRN до 16k позиции. IBM препоръчва аудиосегменти с продължителност до около 2 минути.
• Работи на: GPU чрез Transformers или vLLM, Apple Silicon чрез mlx-audio, локален CPU/Mac чрез llama.cpp GGUF (препоръчва се Q8_0).
• Производителност: отворен модел №2 в Open ASR Leaderboard, със среден WER на английски от 5,68%.
• Най-добър резултат: 0,99% WER в LibriSpeech Clean.
• Най-слаб резултат: 13,79% WER в частния разговорен набор на класацията.

Как работи Granite Speech 5.0 2B?

Моделът има 3 части според картата на модела. Речев енкодер от 16 Conformer блока е обучен с CTC. Той използва блоково внимание върху 4-секундни аудиоблокове.

След това 2-слоен прозоречен q-former проектира и намалява размерността на акустичните вграждания. Общото намаляване на размерността е 10 пъти, така че LLM вижда вграждания при 10 Hz.

LLM е междинна контролна точка на granite-4.0-1b-base. IBM го разшири до 16k позиции с YaRN и го дообучи с LoRA адаптери.

Обучението използва 390 000 часа публично аудио плюс синтетични данни. Синтетичните набори са насочени към японски ASR, задаване на приоритет на ключови думи и превод. Обучението е продължило 40 дни върху 8 H100 GPU.

Какво е новото спрямо Granite Speech 4.1 2B?

• Подсказване за идентифициране на езика: посочете входния език в подканата, за да насочите транскрипцията.
• Списъци с до 2 000 ключови думи: насочват резултата към имена на продукти, хора и акроними.
• Пунктуация и изписване с главни букви при поискване: F1 показателят за изписване с главни букви варира от 90,16 до 99,51 в различните тестови набори.
• Устойчивост: по-добра работа при шум, реверберация и отдалечени микрофони.

Как се представя Granite Speech 5.0 2B в бенчмарковете?

В Open ASR Leaderboard графиката на IBM показва среден WER на английски от 5,68%. Средната стойност обхваща 9 публични и 2 частни тестови набора към 21 октомври 2026 г. Само Qwen3-ASR-1.7B постига по-добър резултат — 5,40%.

Имайте предвид, че има разминаване между източниците. Блогът на IBM посочва вместо това 5,06%. Тази стойност е неофициална, датира от 15 октомври и представлява средна стойност само за публични кратки набори.

Резултатите по набори варират значително. Моделът постига 0,99% в LibriSpeech Clean и 2,21% в LibriSpeech Other. В частния разговорен набор резултатът е 13,79%.

В шумната FFASR leaderboard той заема №4 от 42 с 14,80% среден WER. Qwen3-ASR-1.7B постига 13,41% там.

WER в многоезичния CommonVoice е 2,60% за португалски и 3,50% за испански. Японският е най-слабият език с 10,74%.

При превод BLEU за X-to-English CoVoST достига 53,6 за португалски и 40,1 за немски. Преводът от английски към мандарин не е оценяван.

Задаването на приоритет на ключови думи показва най-ясния напредък. В Earnings-22 F1 за ключови думи се повишава от 67,2 на 90,1 при правилни списъци с ключови думи. При списъци с 2 000 термина, смесващи правилни и грешни термини, показателят все пак достига 82,8.

Как се сравнява с други отворени ASR модели?

Характеристика	Granite Speech 5.0 2B	Qwen3-ASR-1.7B	Cohere Transcribe 03-2026	Canary-Qwen-2.5B
Размер	2B	2,35B (брой в Hub)	2,07B (брой в Hub)	2,5B
Лиценз	Apache 2.0	Apache 2.0	Apache 2.0 (с ограничен достъп)	CC-BY-4.0
ASR езици	6	30 + 22 китайски диалекта	14	Само английски
Превод на реч	Да	Не е посочено	Не е посочено	Не
Среден WER в Open ASR (21 октомври 2026 г.)*	5,68%	5,40%	5,77%	5,94%
Среден WER във FFASR (18 октомври 2026 г.)*	14,80%	13,41%	15,03%	Не е посочено
Задаване на приоритет на ключови думи	До 2 000 термина	Не е посочено	Не е посочено	Не е посочено
Дълго аудио	Сегменти от ~2 минути	Поддържа дълго аудио	Не е посочено	Макс. 40 s при обучението

*Средни стойности от класациите, представени в картата на модела на IBM, от класациите Open ASR и FFASR.

Какво се промени в Turbo CTC и 4.1 2B Plus?

Granite Speech 5.0 Turbo CTC запазва размера си от 470M. Сега транскрибира 7 езика с вградени пунктуация и изписване с главни букви. IBM компилира един Conformer блок и използва повторно графа му в целия стек. Това повиши пропускателната способност до 19 870 RTFx спрямо около 12 600 при старта.

Актуализираният Granite Speech 4.1 2B Plus е актуализация на теглата, която може да бъде внедрена без промени. Средното отклонение на времевите маркери спада от 210,86 на 98,54. WER при дълги формати намалява от 13,53 на 10,22. WER при ключови думи с приоритет спада от 11,79 на 6,48.

Как разработчиците могат да го внедрят?

Granite Speech 5.0 2B работи в Transformers, vLLM, llama.cpp и mlx-audio. За GGUF IBM препоръчва Q8_0. Квантизациите с по-ниска битова дълбочина губят точност при аудио с продължителност над около 1 минута.

Основни изводи

• Отворен модел №2 в Open ASR Leaderboard с WER от 5,68%.
• 2B параметъра, Apache 2.0, работи на GPU, Mac и локален CPU.
• Задаване на приоритет на ключови думи с до 2 000 термина на всички поддържани езици.
• Turbo CTC достига 19 870 RTFx и вече поддържа 7 езика.
• Qwen3-ASR-1.7B все още води по точност и работа с шумно аудио.

---

Разгледайте картата на модела, блога на IBM и научната статия за Granite Speech. Цялата заслуга е на изследователя на този проект. Също така не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия SubReddit за машинно обучение с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Искате да си партнирате с нас за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктово издание, уебинар и др.? Свържете се с нас