vLLM Semantic Router випустив d3-ultra: мультимодальна модель ухвалення рішень із відкритими вагами на 27B
Команда vLLM Semantic Router випустила d3-ultra — мультимодальну модель прийняття рішень на 27B параметрів за ліцензією Apache-2.0. Модель прийняття рішень d3-ultra не генерує текст. Вона один раз зчитує вхідні дані й повертає ймовірність для кожної відповіді на кожне запитання. Для розробників це означає маршрутизацію, класифікацію, візуальне заземлення та перевірку відео за допомогою 1 виклику моделі з відкритими вагами.
Коротко
- Розмір: 26,09B параметрів (щільна модель, включно з візуальним енкодером на 0,46B); 131 072 токени контексту на запитання.
- Запускається на: протестовано на 1 AMD Instinct MI325X із вагами BF16; офіційний квантизований варіант поки не вказаний.
- Продуктивність: найвищий результат SR-Text серед 6 моделей прийняття рішень у власному закритому тесті команди.
- Найкращий результат: 97,8 у завданнях SR-Text на інструменти й автоматизацію (точність із поправкою на випадкове вгадування).
- Найгірший результат: 54,6% на SR-Box (9 доменів), на 5,0 пунктів нижче за споріднену модель d3-turbo.
Що таке d3-ultra?
d3-ultra — це модель прийняття рішень System One від vLLM Semantic Router, яка відповідає на типізовані запитання й повертає ймовірності. Це найновіший член Decision 3.0 — сімейства моделей із розміром від 0,6B до 27B.
Ви надсилаєте стан (текст або JSON, а також зображення чи відео) і набір запитань. Кожне запитання має тип:
- Вибір: вибрати 1 із кількох варіантів.
- Так / Ні: повернути ймовірність відповіді «так».
- Оцінка: оцінити за шкалою.
- Область: знайти щось на зображенні або в певний момент відео.
- Трекінг: відстежувати ціль протягом усього відео.
Зображення також можуть міститися всередині запитань і варіантів відповідей. Тест може показувати фотографію, а потім пропонувати 4 офорти як відповіді.
Як працює d3-ultra?
Основна ідея — один раз зчитати стан. Модель один раз зчитує вхідні дані для кожного запиту й відповідає на всі запитання на основі цього єдиного зчитування.
Конфігурація демонструє базову модель з архітектурою Qwen3.5 і 64 шарами. 48 із них — шари лінійної уваги, а 16 — шари повної уваги. У картці не вказано базовий чекпойнт. Рецепт vLLM зазначає, що споріднену модель d3 було навчено на основі Qwen3.8-27B.
Відповіді типу «область» завжди повертають рівно 1 область із показником упевненості. Упевненість, близька до 0, означає, що ціль відсутня на зображенні. Запитання обсягом понад 131 072 токени завершуються помилкою max_length_exceeded; дані не обрізаються непомітно.
Як d3-ultra працює на тестах?
Дослідницька команда порівнює d3-ultra з GLiDE V1.2, d1-ultra, d3-turbo, d3 і Jev 1.14 у 2 внутрішніх тестах.
SR-Text містить 10 411 текстових запитів із 73 495 запитаннями. Більшість із них відтворює навички з 34 загальнодоступних тестів із новими завданнями. Ще 4 896 запитань походять із 43 нових сімейств завдань, як-от перевірки SQL і маршрутизація тікетів. Оцінки скориговані з урахуванням випадкового вгадування: 0 — випадкове вгадування, 100 — ідеальний результат.
- d3-ultra: 87,2
- GLiDE V1.2: 85,1
- d1-ultra: 83,4
- d3-turbo: 83,1
- d3: 81,4
- Jev 1.14: 73,1
d3-ultra лідирує в усіх категоріях, крім мистецтва та людського смаку. Там d1-ultra набирає 90,8 проти 89,6, що перебуває в межах похибки.
SR-Box містить 5 678 запитань типу «область» щодо 4 984 зображень у 10 доменах. Область вважається правильною за IoU 0,5 або вище. d3-ultra набирає 58,2% у 10 доменах і 54,6% у 9. d3-turbo набирає 60,0% і 59,6%. Jev 1.14 набирає 45,7% і 46,9%. Команда зазначає, що d3-turbo залишається сильнішою на природних зображеннях, тоді як d3-ultra лідирує на діаграмах.
Затримка: на 1 AMD Instinct MI325X із AutoModel 1 запитання про фотографію займає 304 мс. 255 запитань займають 2,16 с, тобто приблизно 7,3 мс на кожне додаткове запитання.
Як розгорнути d3-ultra?
Є 4 способи:
- Transformers:
AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True)ізtransformers==5.17.0. Необов’язковий пакетflash-linear-attentionдодає швидкі GPU-ядра. - vLLM Semantic Router Engine:
vllm-sr serve -e vllm-sr/d3-ultra, додано в PR #5449 25 жовтня 2026 року. - Безкоштовний API: у картці зазначено, що decision.vllm-sr.ai надає доступ до d3-ultra за безкоштовним ключем.
- Демонстрація: офіційний Hugging Face Space.
d3-ultra проти GLiDE V1.2, d1-ultra, Jev 1.14 і d3-turbo
| Характеристика | d3-ultra | d3-turbo | GLiDE V1.2 | d1-ultra | Jev 1.14 |
|---|---|---|---|---|---|
| Розробник | vLLM Semantic Router | vLLM Semantic Router | Fastino Labs | Liquid AI | TypeSafe |
| Параметри | 26,09B | 26,09B | 26B | Не розкрито | Не розкрито |
| Контекст на запитання | 131 072 | 32 768 за замовчуванням; 131 072 із long_context | 40 000 за замовчуванням | 32 768 | 262 144 |
| Ваги / ліцензія | Відкриті, Apache-2.0 | Відкриті, Apache-2.0 | Відкриті, Fastino Community License | Лише хостинг | Лише хостинг, пропрієтарна |
| Вхідні дані | Текст, JSON, зображення, відео | Текст, JSON, зображення, відео | Текст, JSON, зображення | Текст, зображення | Текст, зображення |
| Область / трекінг | Область + трекінг | Область + трекінг | Ні | Ні | Лише область |
| SR-Text (за власними даними vLLM-SR) | 87,2 | 83,1 | 85,1 | 83,4 | 73,1 |
| SR-Box, 10 доменів | 58,2% | 60,0% | Не підтримується | Не підтримується | 45,7% |
| Оцінка публічного індексу | Подано, ще не в таблиці | 70,2 Jev DI (власна оцінка) | 71,5 Decision Index 0.4.1 | 65 AA Decision Index | 57 AA Decision Index |
| Ціна | Безкоштовний API, власний хостинг | Безкоштовний API, власний хостинг | $0,04 / M вхідних даних | $0,042 / M вхідних даних | $0,042 / M вхідних даних |
Ключові висновки
- d3-ultra — це модель прийняття рішень на 27B параметрів за ліцензією Apache-2.0, яка ніколи не генерує текст.
- Вона зчитує вхідні дані один раз: 255 запитань про 1 фотографію займають 2,16 с.
- Вона очолює внутрішній тест SR-Text команди з результатом 87,2, випереджаючи GLiDE V1.2 із результатом 85,1.
- Вона поступається d3-turbo у візуальному заземленні типу «область»: 58,2% проти 60,0%.
- Усі показники тестів надані самою командою на основі закритих тестових наборів.
Ознайомтеся з карткою моделі, репозиторієм GitHub, колекцією Decision 3.0 і Hugging Face Space. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого 150k+ ML SubReddit та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.