IBM випустила Granite Speech 5.0 2B для багатомовної транскрипції та перекладу
IBM випустила Granite Speech 5.0 2B, нову відкриту мовну модель для транскрипції та перекладу мовлення. Granite Speech 5.0 2B — це модель IBM із 2 млрд параметрів, яка перетворює мовлення на текст 6 мовами. Вона поширюється за ліцензією Apache 2.0. IBM також оновила 2 наявні моделі: орієнтовану на периферійні пристрої Turbo CTC та орієнтовану на діаризацію 4.1 2B Plus. Для розробників реліз охоплює точну транскрипцію, швидку транскрипцію на пристрої та транскрипти із зазначенням мовців.
Коротко
- Розмір: 2 млрд параметрів, щільна модель. Основа LLM використовує розширення YaRN до 16 тис. позицій. IBM рекомендує аудіосегменти тривалістю до приблизно 2 хвилин.
- Працює на: GPU через Transformers або vLLM, Apple Silicon через mlx-audio, локальному CPU/Mac через llama.cpp GGUF (рекомендовано Q8_0).
- Продуктивність: модель із відкритими вагами №2 у Open ASR Leaderboard, середній показник WER для англійської — 5,68%.
- Найкращий результат: 0,99% WER на LibriSpeech Clean.
- Найгірший результат: 13,79% WER на приватному розмовному наборі даних рейтингу.
Як працює Granite Speech 5.0 2B?
Згідно з карткою моделі, модель має 3 частини. Аудіоенкодер із 16 блоків Conformer навчається за допомогою CTC. Він використовує блокову увагу для 4-секундних аудіоблоків.
Потім віконний q-former із 2 шарів проєктує та зменшує розмір акустичних ембедингів. Загальне зменшення розмірності становить 10×, тому LLM отримує ембединги з частотою 10 Гц.
LLM — це проміжна контрольна точка granite-4.0-1b-base. IBM розширила її до 16 тис. позицій за допомогою YaRN і донавчила адаптерами LoRA.
Для навчання використано 390 000 годин загальнодоступного аудіо та синтетичні дані. Синтетичні набори орієнтовані на розпізнавання японського мовлення, зміщення за ключовими словами та переклад. Навчання тривало 40 днів на 8 графічних процесорах H100.
Що нового порівняно з Granite Speech 4.1 2B?
- Підказування ідентифікатора мови: назвіть мову вхідного сигналу в підказці, щоб спрямувати транскрипцію.
- Списки ключових слів до 2 000 термінів: зміщують результат у бік назв продуктів, імен людей і акронімів.
- Пунктуація та великі літери на запит: показник F1 для використання великих літер становить від 90,16 до 99,51 у різних тестових наборах.
- Стійкість: краще працює із шумом, реверберацією та віддаленими мікрофонами.
Як Granite Speech 5.0 2B показує себе на бенчмарках?
На Open ASR Leaderboard графік IBM показує середній показник WER для англійської на рівні 5,68%. Це середнє значення охоплює 9 загальнодоступних і 2 приватні тестові набори станом на 21 жовтня 2026 року. Кращий результат має лише Qwen3-ASR-1.7B — 5,40%.
Зверніть увагу на розбіжність у джерелах. У блозі IBM зазначено 5,06%. Це неофіційний показник від 15 жовтня, розрахований лише за загальнодоступними наборами коротких аудіофрагментів.
Результати для окремих наборів сильно відрізняються. Модель демонструє 0,99% на LibriSpeech Clean і 2,21% на LibriSpeech Other. На приватному розмовному наборі вона показує 13,79%.
На шумному рейтингу FFASR вона посідає 4-те місце з 42 із середнім WER 14,80%. Qwen3-ASR-1.7B має там результат 13,41%.
WER на багатомовному CommonVoice становить 2,60% для португальської та 3,50% для іспанської. Японська є найслабшою мовою з результатом 10,74%.
Для перекладу показник BLEU у тесті X-to-English CoVoST досягає 53,6 для португальської та 40,1 для німецької. Переклад з англійської на мандаринську китайську не оцінювався.
Зміщення за ключовими словами демонструє найпомітніший приріст. На Earnings-22 показник F1 для ключових слів зростає з 67,2 до 90,1 за правильних списків ключових слів. Навіть зі списками на 2 000 термінів, що містять правильні та неправильні терміни, результат сягає 82,8.
Як вона порівнюється з іншими відкритими моделями ASR?
| Характеристика | Granite Speech 5.0 2B | Qwen3-ASR-1.7B | Cohere Transcribe 03-2026 | Canary-Qwen-2.5B |
|---|---|---|---|---|
| Розмір | 2B | 2,35B (кількість на Hub) | 2,07B (кількість на Hub) | 2,5B |
| Ліцензія | Apache 2.0 | Apache 2.0 | Apache 2.0 (з обмеженим доступом) | CC-BY-4.0 |
| Мови ASR | 6 | 30 + 22 китайські діалекти | 14 | Лише англійська |
| Переклад мовлення | Так | Не розкрито | Не розкрито | Ні |
| Середній WER Open ASR (21 жовтня 2026 року)* | 5,68% | 5,40% | 5,77% | 5,94% |
| Середній WER FFASR (18 жовтня 2026 року)* | 14,80% | 13,41% | 15,03% | Не розкрито |
| Зміщення за ключовими словами | До 2 000 термінів | Не розкрито | Не розкрито | Не розкрито |
| Тривале аудіо | Сегменти ~2 хвилини | Підтримується тривале аудіо | Не розкрито | Максимум 40 с під час навчання |
*Середні показники рейтингів, наведені на графіку в картці моделі IBM для рейтингів Open ASR і FFASR.
Що змінилося в Turbo CTC і 4.1 2B Plus?
Granite Speech 5.0 Turbo CTC зберігає обсяг у 470M параметрів. Тепер вона транскрибує 7 мовами з вбудованою пунктуацією та використанням великих літер. IBM скомпілювала один блок Conformer і повторно використала його граф у всьому стеку. Це підвищило пропускну здатність до 19 870 RTFx порівняно з приблизно 12 600 під час запуску.
Оновлена Granite Speech 4.1 2B Plus є оновленням ваг, яке можна встановити без додаткових змін. Середнє зміщення часових міток зменшилося з 210,86 до 98,54. WER для довгих аудіофрагментів знизився з 13,53 до 10,22. WER для ключових слів зі зміщенням упав з 11,79 до 6,48.
Як розробники можуть її розгорнути?
Granite Speech 5.0 2B працює в Transformers, vLLM, llama.cpp і mlx-audio. Для GGUF IBM рекомендує Q8_0. Квантизації з меншою кількістю бітів втрачають точність на аудіо тривалістю понад приблизно 1 хвилину.
Основні висновки
- Модель із відкритими вагами №2 у Open ASR Leaderboard із WER 5,68%.
- 2 млрд параметрів, Apache 2.0, працює на GPU, Mac і локальному CPU.
- Зміщення за ключовими словами для 2 000 термінів усіма підтримуваними мовами.
- Turbo CTC досягає 19 870 RTFx і тепер підтримує 7 мов.
- Qwen3-ASR-1.7B усе ще лідирує за точністю та роботою із шумним аудіо.
Ознайомтеся з карткою моделі, блогом IBM і статтею про Granite Speech. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання з понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.
Потрібно налагодити партнерство з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, релізу продукту, вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.