Granite Switch 4.1: чат, решения и речь из одной конечной точки

Назад к статьям

Корпоративная статья

Опубликовано 15 октября 2026 года

Поддержать

Представленный прошлой весной проект Granite Switch обеспечивает модульный подход к разработке моделей. Теперь модели Granite Switch 4.1, оснащённые адаптером Decision и самой быстрой моделью ASR в рейтинге OpenASR, могут эффективно переключаться между ответами на естественном языке, общими и специализированными решениями, а также задачами преобразования речи в текст — всё это из одной размещённой конечной точки.

В частности, модели Granite-Switch-4.1-8B и -30B настроены следующим образом:

Новый адаптер Decision aLoRA для принятия решений общего назначения (например, v1/systemone),
Специализированный адаптер Guardian aLoRA, который в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash в задачах принятия решений, связанных с безопасностью, и
Granite-Speech-5.0-Turbo-CTC — самая быстрая модель ASR в рейтинге OpenASR, встроенная для использования в задачах транскрипции.

Все три технологии (наряду с базовой моделью) объединены в одну модель и занимают в графическом процессоре примерно столько же VRAM, сколько базовая модель занимала бы сама по себе. Это означает больше возможностей при меньшем количестве GPU.

Кроме того, поскольку адаптеры Switch созданы как эффективные с точки зрения кэша активируемые LoRA, KV-кэш, созданный при генерации базовой моделью, можно повторно использовать для любых последующих решений на основе адаптеров. В сочетании с недавними вкладами нашей команды в vLLM, ускоряющими инференс адаптеров низкого ранга, а также с размещённым рядом кодировщиком ASR, модели Granite Switch 4.1 могут переключаться между запросом чата, запросом на принятие решения и голосовым запросом с очень высокой скоростью.

Granite-switch-4.1-8b может транскрибировать аудио, создавать сводки, выявлять вредоносный контент и проверять более 15 общих флагов — всё это в реальном времени и из одной конечной точки.

Библиотеки Granite: оригинальные модели принятия решений

Модели принятия решений — не новинка. В нашем предыдущем выпуске Granite Libraries представлен репозиторий специализированных адаптеров «моделей принятия решений» и других специализированных адаптеров задач, которые можно объединять в пользовательские модели Granite Switch. И хотя Jev и другие закрытые модели принятия решений ориентированы на универсальность, мы обнаружили, что многие специализированные адаптеры granitelib превосходят универсальные модели в задачах специализированной классификации.

Сравните адаптеры granitelib с универсальными моделями принятия решений при оценке на задачах специализированной классификации.

Поскольку адаптеры используют общий KV-кэш базовой модели, добавление специализированных адаптеров наряду с универсальным адаптером принятия решений практически ничего не стоит. Универсальная модель обеспечивает широкий охват, а специалисты — более высокую точность в интересующих вас задачах.

В «гонке» между Granite-Switch-4.1-30B (замороженная базовая модель Granite + 4 специализированных aLoRA) и Jev-27B (замороженная базовая модель Qwen + 1 универсальная LoRA для принятия решений) Granite-Switch-4.1-30B смогла гораздо быстрее конкурента выполнить реальный пятиэтапный рабочий процесс RAG.

Создайте и расширьте собственную модель Granite Switch

Granite-Switch-4.1-8B и -30B выпускаются с «полным комплектом». Это модели Granite Switch, скомпилированные нами с заранее определённым набором полезных адаптеров. Но вам не обязательно использовать нашу версию. Любой желающий может создать собственную модель Granite Switch, комбинируя адаптеры из Granite Libraries для наилучшего соответствия своим потребностям.

В дальнейшем мы видим огромные возможности для сообщества по созданию и расширению моделей Granite Switch с помощью пользовательских адаптеров и адаптеров сторонних разработчиков. Мы планируем выпустить SDK адаптеров для обучения адаптеров в Mellea, а также другие руководства и поддержку Granite Switch. Эти адаптеры могут быть специализированными адаптерами классификации для расширения рабочих процессов на основе принятия решений или адаптерами для специализированных языковых задач. Можно даже использовать пользовательские адаптеры, чтобы научить версию Granite с 3 млрд параметров играть в классическую игру Doom.

Подобно Jev, наша пользовательская модель Granite Switch с 3 млрд параметров принимала решения за доли секунды, чтобы перемещаться по игре Doom, но делала это со скоростью 60–100 решений в секунду по сравнению с заявленными Jev 10 решениями в секунду.¹ В отличие от Jev, эта модель Granite Switch также может комментировать происходящее и отвечать на ваши вопросы во время игры.

Мы с нетерпением ожидаем публикации дополнительных сведений и данных о Granite Switch в ближайшие недели, но до тех пор предлагаем вам опробовать наши новейшие модели Switch и другие полезные ресурсы для начала работы.