NVIDIA выпустила Nemotron 3.5 Transcribe: открытую MoE-модель на 30 млрд параметров для транскрибации 40 языков с ~4 млрд активных параметров
MarkTechPost·7 мин чтения
NVIDIA выпустила Nemotron 3.5 Transcribe — речевую языковую модель с открытыми весами, созданную для транскрибации. Одна модель поддерживает 40 языков и записи продолжительностью до 1 часа. Текстовая инструкция выбирает стиль вывода для каждого запроса. Доступны дословный, отредактированный, с указанием говорящих, контекстный и переведённый варианты. Для разработчиков она может заменить отдельные инструменты ASR, диаризации и выравнивания.
Кратко
Размер: 34 млрд параметров всего и около 4,3 млрд активных; контекст 65 536 токенов; аудио продолжительностью до 1 часа.
Запуск: 1x H100 80 ГБ в BF16. Доступны контрольные точки FP8 (около 35 ГБ) и NVFP4 (около 21 ГБ); NVFP4 запускается на RTX 5090. Файлы GGUF предназначены для NeMo-Speech.cpp.
Производительность: лучшая модель с открытыми весами в англоязычном и многоязычном рейтингах Open ASR; коммерческие API по-прежнему лидируют.
Лучший результат: средний WER 4,71% на 9 общедоступных англоязычных наборах Open ASR (у следующей модели с открытыми весами — 4,94%).
Худший результат: cpCER 34,95% на дальнепольных совещаниях на китайском языке из набора AliMeeting.
Итог: главное преимущество — одна открытая модель охватывает транскрипты, метки говорящих, временные метки и перевод. Главный недостаток — только офлайн-работа и слабая точность на совещаниях на китайском языке.
Что такое Nemotron 3.5 Transcribe?
Nemotron 3.5 Transcribe — это дополненная речью языковая модель (SALM) от NVIDIA, которая преобразует аудио и инструкции в текст. Аудиоэнкодер передаёт эмбеддинги декодеру на базе LLM, что делает транскрибацию управляемой с помощью промптов. В техническом исследовательском отчёте NVIDIA утверждает, что единственного правильного транскрипта не существует. Числа, слова-паразиты и отраслевые термины зависят от того, кто читает результат. NVIDIA позиционирует модель как специализированную для транскрибации, а не как универсального ассистента.
Как работает архитектура?
Она состоит из трёх частей:
Параллельный экспертный энкодер: обучаемый Transformer-энкодер ASR на 0,6 млрд параметров работает рядом с замороженной моделью Nemotron 3 Diarization. Диаризатор отслеживает до 8 говорящих. Информация об активности говорящих добавляется в признаки ASR каждые 80 мс. Поэтому LLM видит, кто и когда говорил, без изменений архитектуры.
Базовая LLM:Nemotron 3.5 Lightning 30B-A3B — гибридная Mamba-Transformer MoE. Она содержит 52 слоя: 23 Mamba-2, 23 MoE и всего 6 attention-слоёв. Каждый слой MoE направляет данные к 6 из 128 экспертов и одному общему эксперту. Небольшое число attention-слоёв сохраняет размер KV-кэша небольшим для аудио продолжительностью в час.
Дополнительные компоненты: общий слой многотокового предсказания (MTP) подготавливает токены для спекулятивного декодирования. CTC-адаптер с 50 млн параметров выравнивает готовый транскрипт с аудио для получения временных меток слов.
Название модели указывает на 30B-A4B, однако контрольная точка содержит около 34 млрд параметров. Дополнительный объём приходится на модуль MTP размером 1,3 млрд параметров и аудиокомпоненты.
Обучение включало один этап контролируемой тонкой настройки на 256 GPU H100 в течение 28 500 шагов. Затем последовал короткий этап RL: 400 обновлений GSPO с наградой, равной 1 минус WER. Модель обучалась примерно на 1,72 млн уникальных часов аудио, или 6,5 млн часов с повторами.
Каковы результаты на бенчмарках?
Все приведённые ниже показатели указаны самой NVIDIA в техническом отчёте.
English Open ASR (9 общедоступных наборов): средний WER 4,71%. Следующая модель с открытыми весами, Qwen3-ASR-1.7B, показывает 4,94%. Семь коммерческих систем по-прежнему лидируют; лучший результат у OtterAI speech-v3.1 — 3,88%.
Multilingual Open ASR (7 языков): средний WER 4,62% против 6,49% у Qwen3-ASR-1.7B. ElevenLabs Scribe v2 достигает 3,56%.
ASR для длинных записей: средний WER 10,98% против 13,37% у Parakeet-TDT-0.6B-v3.
Несколько говорящих, полные сессии: средний cpWER 15,80% против 16,83% у DiCoW v3.3 с DiariZen. NVIDIA заявляет, что это первая SALM, превзошедшая каскадные системы в этом тесте.
Контекстный ASR: список сущностей снижает WER именованных сущностей в ContextASR-Bench с 12,21% до 2,20%.
Среды выполнения включают vLLM 0.32.0 с плагином NeMo Speech, Transformers и SGLang-Omni 0.2.0. vLLM предоставляет API, совместимый с OpenAI.
Основной прирост скорости модели NVIDIA обеспечивает Nemotron Transcribe NIM. С NVFP4 и DFlash2 одна RTX PRO 6000 Blackwell Server Edition транскрибирует 2238 секунд аудио в секунду. 30-секундный фрагмент обрабатывается за 0,13 секунды. Однако есть нюанс: эти оптимизации обслуживания пока не имеют открытого исходного кода. NVIDIA ожидает, что путь через vLLM в день выпуска будет примерно вдвое медленнее. На одной H100 в BF16 с MTP2 NVIDIA оценивает скорость примерно в 410 RTFx.
Для тонкой настройки NVIDIA протестировала 17 задач. Каждая занимала около 0,5–2,3 GPU-часа на одном GB300.
Как она сравнивается с другими открытыми моделями ASR?
*Показатели конкурентов в текущем рейтинге с 9 наборами получены из отчёта NVIDIA, который ссылается на результаты рейтинга Hugging Face за октябрь 2026 года. Состав рейтинга изменился с момента публикации собственных карточек конкурентов, поэтому две строки с WER нельзя напрямую сопоставлять.
Ключевые выводы
Одна открытая модель обрабатывает транскрипты, говорящих, временные метки и перевод на 40 языках.
WER 4,71% для английского — лучший результат среди моделей с открытыми весами; коммерческие API по-прежнему лидируют.
Около 4,3 млрд активных параметров; BF16 помещается на 1 H100, NVFP4 — на RTX 5090.
Список сущностей снижает WER именованных сущностей с 12,21% до 2,20%.
Только офлайн-работа; совещания на китайском и переключение между языками остаются слабыми местами.
