Nemotron 3.5 Super VL від Nvidia — відкрита модель, створена для безперервної роботи корпоративних ШІ-агентів

Nvidia випустила Nemotron 3.5 Super VL — відкриту мультимодальну модель зі 120 мільярдами параметрів, створену для корпоративних агентів. Разом із нею запускаються дві компактні моделі Bolt, призначені для роботи ШІ-агентів на локальних ПК і периферійних пристроях.

Nvidia створила Nemotron 3.5 Super VL для спеціалізованих агентів, які постійно працюють у фоновому режимі, обробляючи текст, зображення, документи та відео.

Як пояснює компанія в технічному дописі в блозі, модель використовує архітектуру суміші експертів, у якій для кожного токена активні лише 12 мільярдів зі 120 мільярдів параметрів. Nvidia розробила модель разом із Nemotron Coalition — групою, до якої входять Mistral AI, Thinking Machines Lab, Perplexity і Black Forest Labs.

Одночасно виходять дві менші моделі для локального обладнання. Nemotron 3.5 Bolt 74B-A9B 24GB виконує агентські завдання на локальних машинах, тоді як менша Bolt E4B 4GB призначена для швидких голосових асистентів і з’явиться пізніше цього місяця. Nvidia стверджує, що обидві моделі забезпечують «найвищий інтелект на гігабайт пам’яті».

Super VL і Bolt доповнюють наявну лінійку Nemotron. Lightning, випущена в серпні, створена для високої пропускної здатності, тоді як Ultra виконує складні завдання на міркування. Кожен варіант оптимізований для обладнання Nvidia.

Nvidia заявляє про точність найбільшої моделі за умови вп’ятеро меншого розміру

Nvidia дистилювала Super VL із Nemotron 3 Ultra — своєї найбільшої моделі для міркувань. У завданнях, де агент дотримується інструкцій, викликає інструменти, проходить багатокрокові бізнес-процеси або аналізує зображення, Super VL, як стверджується, відповідає точності Ultra, маючи лише приблизно п’яту частину її параметрів. За даними Nvidia, в агентських тестах Hermes і LangChain вона фактично набирає більше балів, ніж Ultra, а також випереджає свою попередницю Nemotron 3 Super у тестах програмування SWE-bench і Terminal-Bench.

На одному графічному процесорі Super VL забезпечує до п’яти разів вищу пропускну здатність, ніж інші відкриті моделі схожого розміру в агентських завданнях, стверджує Nvidia, посилаючись на таблицю лідерів Artificial Analysis. У незалежному тесті EXO Labs на DGX Spark жодна інша модель не виявилася одночасно точнішою та швидшою. Ця перевага у швидкості особливо важлива, коли агентам потрібно обробляти великі обсяги завдань протягом днів або тижнів.

Порівняно із закритими передовими моделями Nvidia пропонує Super VL компаніям, які хочуть донавчати її на власних даних і запускати модель на власних серверах, не залежачи від умов використання постачальника. Nvidia зазначає, що це може зацікавити страхову компанію, яка постійно перевіряє страхові вимоги на шахрайство, або фінансову установу, що оцінює кредитоспроможність за власними критеріями. Для налаштування компанія надає свій фреймворк NeMo, конвеєри Python і відкриті набори даних.

Стиснення та кешування зменшують обчислювальні витрати

Nvidia стискає Super VL за допомогою свого 4-бітного формату NVFP4. На графічних процесорах Blackwell модель повністю працює з 4-бітною точністю, тоді як старіші карти зберігають лише ваги в 4 бітах, а обчислення виконують у 16 бітах. Чутливі частини моделі зберігають вищу точність. Щоб уникнути втрати якості, Nvidia навчила стиснену версію відтворювати результати нестисненої оригінальної моделі.

Вбудований компонент чернетки заздалегідь пропонує кілька токенів, які основна модель потім перевіряє за один прямий прохід. На DGX Spark Nvidia натомість рекомендує власний метод LiLiCorr, який оцінює всі токени чернетки разом для більш узгодженої генерації. Nvidia стверджує, що цей підхід прискорює генерацію тексту до 2,3 раза порівняно з роботою без спекулятивних чернеток.

Агенти надсилають однакові інструкції, описи інструментів та історію розмови з кожним запитом, тому Super VL кешує обчислення для цих повторюваних частин замість того, щоб щоразу виконувати їх заново. Програмне забезпечення Nvidia для виведення Dynamo також спрямовує запити з тієї самої сесії до графічного процесора, який уже зберігає кеш цієї сесії. На 16 графічних процесорах B200 це дає змогу Super VL обслуговувати у вісім разів більше одночасних користувачів, а час до першого токена скорочується на 85 відсотків.

Super VL аналізує таблиці, діаграми та PDF без окремої моделі комп’ютерного зору

Для роботи із зображеннями Nvidia зосередилася на матеріалах, з якими агенти стикаються у щоденній роботі, зокрема OCR, таблицях, діаграмах, багатосторінкових документах і відео. Super VL може інтерпретувати діаграму, пов’язувати її з таблицею в іншій частині того самого документа й узагальнювати обидва елементи без окремої моделі зображень.

У тесті діаграм CharXiv Super VL набирає 80,8 відсотка, за даними Nvidia, тоді як старша Nemotron 3 Nano Omni досягла 63 відсотків. Коли модель також може виконувати код Python, результат зростає до 84 відсотків. У таблиці лідерів OCRBench v2 вона входить до числа найкращих відкритих моделей, стверджує Nvidia.

Локальні агенти все ще потребують дорогого обладнання

Bolt 74B-A9B 24GB — це урізана версія Super VL, створена як гібридна модель суміші експертів, у якій на кожному кроці активні лише 9 із 74 мільярдів параметрів. Щоб умістити її в 24 ГБ пам’яті, Nvidia застосовує агресивну 2-бітну квантизацію ваг.

Bolt виконує повсякденні локальні завдання, у яких агенту потрібно пройти кілька кроків, викликати інструменти або здійснити пошук в інтернеті. За даними Nvidia, користувачі можуть доручити моделі написати й налагодити код або визначити, які компоненти ПК сумісні з їхньою системою.

Модель оптимізована для RTX Spark — нового чипа для ноутбуків Windows із підтримкою ШІ від Nvidia, а також для DGX Spark — компактної робочої станції для ШІ з до 128 ГБ спільної пам’яті. Вона також працює на ПК із GeForce RTX, DGX Station і робочих станціях RTX PRO та підтримує llama.cpp, Ollama, LM Studio і vLLM.

Навіть із сильним стисненням 24 ГБ — це високий бар’єр. Лише дороге висококласне обладнання пропонує такий обсяг пам’яті, а за нинішніх цін на графічні процесори більшість споживачів не може виправдати такі витрати. Наразі локальний агент орієнтований на розробників і власників потужних робочих станцій.

Для слабших пристроїв Nvidia планує Bolt E4B 4GB, хоча модель ще не випущена. Вона розрахована на роботу з картами GeForce RTX, модулями Jetson і RTX/DGX Spark, забезпечуючи голосових асистентів, інтерактивних персонажів або інтерфейси пристроїв. Очікується, що модель вестиме природні розмови, використовуючи інструменти протягом кількох обмінів репліками та розуміючи, що відбувається в поточному застосунку.

Серед перших користувачів — фінансові компанії та фахівці з кібербезпеки

За словами Nvidia, десятки організацій уже донавчають Super VL для власних потреб, переважно в галузях із великим обсягом документів і конфіденційними даними. Scale AI адаптувала модель для агента, який обробляє кредити постачальників у медіакомпанії Skydance; очікується, що витрати знизяться до однієї сорокової, а час відповіді — до однієї п’ятої. Ramp використовує модель для перетворення фотографій чеків на структуровані дані й очікує вдесятеро швидших відповідей. EY застосовує її для комплексної перевірки під час придбань, а Hebbia — для аналізу кредитних угод.

Друга хвиля користувачів приходить із галузі кібербезпеки. AI21 донавчила Super VL для компанії з безпеки Alice, яка використовує її для аналізу загроз і вразливостей; за даними Nvidia, точність зросла на 40 відсотків. Dream застосовує модель для пошуку вразливостей, а CrowdStrike створює агентів для захисту корпоративних мереж. Salesforce планує автоматизувати державні робочі процеси, R1 перевіряє медичні рахунки, а Perplexity, Dassault Systèmes і Mercor також використовують модель.

Nvidia публікує набори даних і рецепти навчання

Nvidia випускає ваги в базовій, донавченій і стисненій 4-бітній версіях, а також набори даних і рецепти навчання та середовища для навчання з підкріпленням. Це робить Super VL більш відкритою, ніж багато моделей із відкритими вагами, які зазвичай публікують лише ваги.

За словами Nvidia, під час попереднього та подальшого попереднього навчання модель навчалася на понад 25 трильйонах токенів, а донавчання й навчання з підкріпленням додали приблизно чотири мільйони прикладів у близько 100 відкритих навчальних середовищах.

На Hugging Face Nvidia також випускає кілька наборів даних, які інші розробники можуть використовувати для навчання або донавчання власних моделей. Вони охоплюють використання інструментів агентами, дотримання інструкцій, роботу з довгими текстами та розуміння зображень, тоді як інші набори даних стосуються фінансів, безпеки й справедливості.

Один із наборів даних призначений для мов, якими розмовляють в Індії. Nvidia створила його разом з Індійським технологічним інститутом Мадраса та його лабораторією ШІ AI4Bharat; він містить близько 2,83 трильйона токенів тексту 22 індійськими мовами.

Відкриті моделі продають обладнання Nvidia

Super VL працює на настільних системах на кшталт DGX Spark, DGX Station, RTX PRO і RTX, на модулях Jetson у периферійних пристроях, а також у центрах обробки даних і хмарі. Через Nvidia NIM підприємства отримують модель як готовий до розгортання мікросервіс із перевіреними конфігураціями та підтримкою; оновлення планується випускати кожні два тижні. Ваги доступні на Hugging Face для Nemotron 3.5 Super VL 120B-A12B і Nemotron 3.5 Bolt 74B-A9B 24GB.

Nvidia відкрито випускає моделі, але налаштовує їх під власні продукти — від серверів центрів обробки даних до робочих станцій. Той, хто хоче отримати максимум від Nemotron, зрештою купує обладнання Nvidia.

Стратегія Nvidia щодо відкритих моделей має корисливий характер. Що більше компаній запускають власні відкриті моделі, то більшим стає попит на обчислювальне обладнання, а відкриті моделі, ймовірно, у доступному майбутньому залишатимуться оптимізованими для Nvidia. Тим часом такі компанії, як Meta, Google, Anthropic і OpenAI, створюють власні чипи й оптимізують моделі під них. Щоб іще більше поширити відкриті моделі ШІ, Nvidia нещодавно інвестувала 12,9 мільярда доларів у Hugging Face — одну з найважливіших платформ для їхньої розробки та поширення.

Новини ШІ без хайпу — добірка від людей

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний передовий звіт «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.