Granite Switch 4.1: Чат, решения и реч от една крайна точка

Назад към статиите

Granite Switch 4.1: чат, решения и реч от една крайна точка

За предприятия Статия

Публикувано 15 октомври 2026 г.

Глас „за“

Представен миналата пролет, проектът Granite Switch предлага модулен подход към разработването на модели. Сега моделите Granite Switch 4.1, снабдени с адаптер за решения и най-бързия ASR модел в класацията OpenASR, могат ефективно да превключват между отговори на естествен език, общи и специализирани решения и задачи за преобразуване на реч в текст — всичко това от една хоствана крайна точка.

По-конкретно, моделите Granite-Switch-4.1-8B и -30B са конфигурирани да включват:

Нов Decision aLoRA за вземане на решения с общо предназначение (напр. v1/systemone),
Специализиран Guardian aLoRA, който средно превъзхожда Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash при задачи за вземане на решения, свързани с безопасността, и
Granite-Speech-5.0-Turbo-CTC — най-бързият ASR модел в класацията OpenASR, вграден за използване при задачи за транскрипция.

И трите технологии (заедно с базовия модел) са обединени в един модел, който използва приблизително същото количество VRAM на графичен процесор, колкото би използвал самият базов модел. Това означава повече възможности с по-малко графични процесори.

Тъй като адаптерите Switch са създадени като активирани LoRA, оптимизирани за кеширане, KV кешът, създаден при генериране от базовия модел, може да се използва повторно за всички последващи решения, базирани на адаптери. В комбинация с скорошните приноси на екипа ни към vLLM за ускоряване на инференса на адаптери с нисък ранг, както и с разположен наблизо ASR енкодер, моделите Granite Switch 4.1 могат да превключват между заявка за чат, заявка за решение и говорима заявка с изключително висока скорост.

Granite-switch-4.1-8b може да транскрибира аудио, да генерира резюмета, да проверява за вредно съдържание и да тества над 15 общи флага — всичко това в реално време от една крайна точка.

Granite Libraries: оригиналните модели за решения

Моделите за решения не са нещо ново. Предишното ни издание на Granite Libraries включва хранилище със специализирани адаптери за „модели за решения“ и други адаптери за специализирани задачи, които могат да се комбинират в персонализирани модели Granite Switch. И докато Jev и други затворени модели за решения се фокусират върху универсалността, установихме, че много от специализираните ни адаптери granitelib могат да превъзхождат универсалните модели при специализирани задачи за класификация.

Сравнете адаптерите granitelib с универсални модели за решения, оценени при специализирани задачи за класификация.

Тъй като адаптерите споделят KV кеша на базовия модел, добавянето на специалисти към универсален адаптер за решения почти не струва нищо. Получавате широко покритие от универсалния модел и по-висока точност от специалистите при задачите, които са важни за вас.

В „състезание“ между Granite-Switch-4.1-30B (замразен базов Granite + 4 специализирани aLoRA) и Jev-27B (замразен базов модел Qwen + 1 общ LoRA за решения), Granite-Switch-4.1-30B успя да завърши реален 5-стъпков RAG работен процес много по-бързо от своя конкурент.

Комбинирайте и разширявайте свой собствен модел Granite Switch

Granite-Switch-4.1-8B и -30B се предоставят с „всичко необходимо“. Това са модели Granite Switch, компилирани от нас с предварително определен набор от полезни адаптери. Но не е нужно да използвате нашата версия. Всеки може да комбинира свой собствен модел Granite Switch, като съчетава адаптери от Granite Libraries според нуждите си.

Занапред виждаме огромни възможности за общността да комбинира и разширява моделите Granite Switch с персонализирани адаптери и адаптери от трети страни. Планираме да пуснем SDK за адаптери за обучение на адаптери в Mellea, заедно с други ръководства и поддръжка за Granite Switch. Тези адаптери могат да бъдат специализирани адаптери за класификация, допълващи работни процеси, базирани на решения, или адаптери за специализирани езикови задачи. Можете дори да използвате персонализирани адаптери, за да научите версията на Granite с 3B параметъра да играе класическата игра Doom.

Подобно на Jev, нашият персонализиран модел Granite Switch с 3B параметъра вземаше решения за части от секундата, за да се придвижва в играта Doom, но успяваше да го прави с 60–100 решения в секунда, в сравнение с отчетените от Jev 10 решения в секунда.¹ За разлика от Jev, този модел Granite Switch може също да разказва и да отговаря на въпросите ви, докато играе.

Очакваме с нетърпение да публикуваме повече подробности и данни за Granite Switch през следващите седмици, но дотогава ви насърчаваме да изпробвате най-новите ни модели Switch и тези други полезни ресурси за начало.