IBM выпустила Granite Speech 5.0 2B для многоязычной транскрибации и перевода
IBM выпустила Granite Speech 5.0 2B — новую открытую речевую языковую модель для транскрибации и перевода. Granite Speech 5.0 2B — это модель IBM с 2 млрд параметров, преобразующая речь в текст на 6 языках. Она распространяется по лицензии Apache 2.0. IBM также обновила 2 существующие модели: ориентированную на периферийные устройства Turbo CTC и ориентированную на диаризацию 4.1 2B Plus. Для разработчиков релиз охватывает точную транскрибацию, быструю транскрибацию на устройстве и транскрипты с указанием говорящих.
Кратко
- Размер: 2 млрд параметров, плотная модель. В основе LLM используется расширение YaRN до 16 тыс. позиций. IBM рекомендует аудиосегменты длительностью примерно до 2 минут.
- Запускается на: GPU через Transformers или vLLM, Apple Silicon через mlx-audio, локальном CPU/Mac через llama.cpp GGUF (рекомендуется Q8_0).
- Производительность: модель с открытыми весами №2 в Open ASR Leaderboard, средний WER для английского языка — 5,68%.
- Лучший результат: 0,99% WER на LibriSpeech Clean.
- Худший результат: 13,79% WER на закрытом разговорном наборе данных лидерборда.
Как работает Granite Speech 5.0 2B?
Согласно карточке модели, модель состоит из 3 частей. Речевой энкодер из 16 блоков Conformer обучается с использованием CTC. Он применяет блочное внимание к 4-секундным аудиоблокам.
Затем оконный q-former с 2 слоями проецирует и уменьшает размер акустических эмбеддингов. Общее уменьшение дискретизации составляет 10x, поэтому LLM получает эмбеддинги с частотой 10 Гц.
LLM представляет собой промежуточный чекпойнт granite-4.0-1b-base. IBM расширила его до 16 тыс. позиций с помощью YaRN и дообучила с адаптерами LoRA.
Для обучения использовалось 390 000 часов общедоступных аудиозаписей, а также синтетические данные. Синтетические наборы предназначены для японского ASR, смещения по ключевым словам и перевода. Обучение заняло 40 дней на 8 GPU H100.
Что нового по сравнению с Granite Speech 4.1 2B?
- Указание языка в запросе: название входного языка в запросе помогает направить транскрибацию.
- Списки ключевых слов до 2 000 терминов: смещение вывода в сторону названий продуктов, имён людей и акронимов.
- Пунктуация и капитализация по запросу: F1 капитализации варьируется от 90,16 до 99,51 на разных тестовых наборах.
- Устойчивость: улучшена обработка шума, реверберации и удалённых микрофонов.
Как Granite Speech 5.0 2B показывает себя на бенчмарках?
В Open ASR Leaderboard на графике IBM указано среднее значение WER для английского языка 5,68%. Это среднее рассчитано по 9 открытым и 2 закрытым тестовым наборам по состоянию на 21 октября 2026 года. Лучше показатель только у Qwen3-ASR-1.7B — 5,40%.
Следует отметить расхождение в источниках. В блоге IBM указано значение 5,06%. Эта цифра неофициальна, датирована 15 октября и представляет собой среднее только по общедоступным наборам коротких аудиозаписей.
Результаты по отдельным наборам сильно различаются. Модель показывает 0,99% на LibriSpeech Clean и 2,21% на LibriSpeech Other. На закрытом разговорном наборе она показывает 13,79%.
На зашумлённом лидерборде FFASR она занимает 4-е место из 42 со средним WER 14,80%. У Qwen3-ASR-1.7B результат составляет 13,41%.
WER на мультиязычном CommonVoice составляет 2,60% для португальского и 3,50% для испанского. Японский — самый слабый язык с результатом 10,74%.
Для перевода показатель BLEU в задаче X-to-English на CoVoST достигает 53,6 для португальского и 40,1 для немецкого. Перевод с английского на китайский (мандарин) не оценивался.
Наиболее заметный прирост наблюдается при использовании смещения по ключевым словам. На Earnings-22 F1 ключевых слов повышается с 67,2 до 90,1 при использовании правильных списков ключевых слов. Даже со списками из 2 000 терминов, содержащими как правильные, так и неправильные термины, показатель достигает 82,8.
Как она сравнивается с другими открытыми ASR-моделями?
| Характеристика | Granite Speech 5.0 2B | Qwen3-ASR-1.7B | Cohere Transcribe 03-2026 | Canary-Qwen-2.5B |
|---|---|---|---|---|
| Размер | 2B | 2,35B (данные Hub) | 2,07B (данные Hub) | 2,5B |
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 (с ограниченным доступом) | CC-BY-4.0 |
| Языки ASR | 6 | 30 + 22 китайских диалекта | 14 | Только английский |
| Перевод речи | Да | Не раскрыто | Не раскрыто | Нет |
| Средний WER в Open ASR (21 октября 2026 г.)* | 5,68% | 5,40% | 5,77% | 5,94% |
| Средний WER в FFASR (18 октября 2026 г.)* | 14,80% | 13,41% | 15,03% | Не раскрыто |
| Смещение по ключевым словам | До 2 000 терминов | Не раскрыто | Не раскрыто | Не раскрыто |
| Длинные аудиозаписи | Сегменты около 2 минут | Поддерживаются длинные аудиозаписи | Не раскрыто | Максимум 40 с в обучении |
*Средние значения лидербордов согласно графику IBM в карточке модели, составленному на основе лидербордов Open ASR и FFASR.
Что изменилось в Turbo CTC и 4.1 2B Plus?
Granite Speech 5.0 Turbo CTC сохранила размер 470M. Теперь она транскрибирует речь на 7 языках, обеспечивая встроенную пунктуацию и капитализацию. IBM скомпилировала один блок Conformer и повторно использовала его граф во всём стеке. Это повысило пропускную способность до 19 870 RTFx по сравнению примерно с 12 600 на момент запуска.
Обновлённая Granite Speech 4.1 2B Plus представляет собой обновление весов, не требующее изменений в интеграции. Среднее смещение временных меток снижается с 210,86 до 98,54. WER для длинных аудиозаписей уменьшается с 13,53 до 10,22. WER при использовании смещения по ключевым словам снижается с 11,79 до 6,48.
Как разработчики могут развернуть модель?
Granite Speech 5.0 2B работает в Transformers, vLLM, llama.cpp и mlx-audio. Для GGUF IBM рекомендует Q8_0. Квантизация с меньшим числом бит приводит к потере точности на аудиозаписях длительностью более примерно 1 минуты.
Ключевые выводы
- Модель с открытыми весами №2 в Open ASR Leaderboard с WER 5,68%.
- 2 млрд параметров, Apache 2.0, работает на GPU, Mac и локальном CPU.
- Смещение по ключевым словам до 2 000 терминов для всех поддерживаемых языков.
- Turbo CTC достигает 19 870 RTFx и теперь поддерживает 7 языков.
- Qwen3-ASR-1.7B по-прежнему лидирует по точности и работе с зашумлённым аудио.
Ознакомьтесь с карточкой модели, блогом IBM и статьёй о Granite Speech. Все заслуги принадлежат исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту ML с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.
Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.