Sakhanda Wire
NVDA $204.64 -4.22% MSFT $521.91 -1.55% GOOGL $279.84 -1.40% META $614.99 -1.53% AMZN $240.35 -1.41%
← До новин

Nace AI відкрила вихідний код Drex Max v1: модель ухвалення рішень із 27B параметрів, що працює локально на Apple Silicon

Nace AI випустила Drex Max v1 із відкритими вагами. Drex Max — її найпотужніша модель ухвалення рішень, і тепер вона працює на власному обладнанні. До релізу входять ваги bf16, Q8_0 GGUF, чекпойнт affine Q4 і форки llama.cpp та Ollama. Для розробників відкриті ваги Drex Max означають, що маршрутизація, класифікація та перевірки політик можуть виконуватися на локальній машині.

Коротко

  • Розмір: 27 млрд щільних параметрів, вікно на 262 144 токени (за замовчуванням 16 384), до 255 варіантів на запитання.
  • Працює на: GPU NVIDIA із Python (H100 у bf16 або L40S 48 ГБ у 8-бітному режимі). Mac на Apple Silicon із 24 ГБ і більше (affine Q4) або 48 ГБ (Q8_0 GGUF). CPU через llama.cpp та Ollama.
  • Продуктивність: 67,52 у публічному Decision Index 0.4, на 6,27 бала вище за Drex v2.0 (за власними даними).
  • Найкращі результати: 97,3 у навичці InfographicVQA. Результат у категорії Tools сягає 81,9. Тепер це топова модель ухвалення рішень, яку можна запускати офлайн на Mac.

Що таке Drex Max?

Drex Max — це модель ухвалення рішень від Nace.AI, яка відповідає на введені текстом запитання щодо заданого контексту. Ви передаєте стан (текст, JSON або зображення) разом із названими запитаннями. Модель повертає ймовірність для кожного варіанта за один прямий прохід. Нічого не генерується.

Запитання бувають 3 типів: вибір серед названих варіантів, «так/ні» та порядкова оцінка. Це робить модель придатною для маршрутизації агентів, сортування заявок і перевірок обмежень. Хостингова версія позиціонується для маршрутизації, класифікації та перевірок політик.

Як працює Drex Max?

Картка моделі описує щільну модель із 27 млрд параметрів і 64 шарами. 48 із них — це шари лінійної уваги Gated DeltaNet, які працюють зліва направо. Інші 16 — це шари повної уваги, розміщені через кожні чотири шари, і вони некаузальні. Кожен токен може звертатися до всієї послідовності.

Зображення проходять через вбудовану візуальну вежу й доступні кожному запитанню в межах запиту. Потім голова зчитування на 255 варіантів перетворює останній прихований стан на ймовірності варіантів. У конфігурації вказано тип моделі qwen3_5 із вікном на 262 144 позиції.

Як Drex Max показує себе в бенчмарках?

Усі наведені нижче показники надані Nace AI,

  • Decision Index 0.4 (публічний текст): 67,52. Drex v2.0 набирає 61,25, а Jev 1.13.0 — 57,96.
  • Навички за категоріями: Tools — 81,9, Language — 72,2, Retrieval — 68,8, Knowledge and Reasoning — 57,1, Arts — 53,4.
  • Публічний індекс роботи із зображеннями: 73,92 за 11 бенчмарками та 12 210 рядками.
  • Artificial Analysis Decision Index: 64, що, за словами Nace, відповідає 4-му місцю серед 18.
  • JevBench: 92,2% (213/231). Decision Bench v4: 94,30% (1010/1071).

Набір даних результатів охоплює 140 620 запитів. Запити без відповіді зараховуються як неправильні.

Як запустити Drex Max локально?

Nace документує 5 середовищ виконання. Усі вони обслуговують один і той самий API POST /v1/systemone.

Середовище виконанняОбладнанняЧекпойнтЗображення
PythonGPU NVIDIAbf16 (~49 ГБ) або 8-бітний режим (~26 ГБ)Так
Форк llama.cppApple Metal, CPUQ8_0 GGUF (27,25 ГБ)Ні
Форк OllamaApple Metal, CPUQ8_0 GGUFНі
Kapitsa v0.2.25+Apple SiliconQ8_0 GGUF або affine Q4Ні
MLXApple Siliconaffine Q4 (14,45 ГБ)Ні

Чекпойнт affine Q4 призначений для Mac із 24 ГБ або більше. Для Q8_0 GGUF потрібно 48 ГБ. На Mac із 48 ГБ Nace рекомендує –context 2048 для Kapitsa.

Користувачі Ollama встановлюють num_gpu 40, щоб передати 40 шарів на Metal. Встановлення num_gpu 0 запускає модель на CPU. Для форка Ollama у Modelfile потрібен рядок рішення CAPABILITY.

Квантизація у тестах Nace зберігає якість. На Apple M5 Pro із 48 ГБ Q8_0 GGUF відрізнявся від H100 bf16 не більш ніж на 0,02 за ймовірністю. Affine Q4 відрізнявся від Q8_0 не більш ніж на 0,0329, без зміни вибору.

Drex Max проти інших моделей ухвалення рішень

Drex Max v1Drex v2.0Drex v1.5Jev 1.13.0
Параметри27 млрд, щільна модель35 млрд MoE, активні ~3 млрд9 млрдНе опубліковано
Максимальний контекст262 144131 072131 072Не розкрито
ВходиТекст, JSON, зображенняТекст (візуальну вежу вилучено)ТекстНе розкрито
ВагиВідкриті, Nace.AI Open RAIL-MВідкриті, Nace.AI Open RAIL-MВідкриті, Nace.AI Open RAIL-MЗакриті, хостингові
Найменший локальний файлAffine Q4, Mac із 24 ГБ+Q8_0, 36,9 ГБQ8_0, ~9,5 ГБНе застосовується
Публічний Decision Index67,52 (v0.4)61,25 (v0.3.1)58,08 (v0.3.1)57,96
JevBench92,2%85,7%Не розкрито86,6%
AA Decision Index6458Не зазначено58
Ціна хостингу$0,03 / 1 тис. рішень (на старті)$0,06 / 1 тис. рішень$0,04 / 1 тис. рішень$42 / 1 млн завдань

Команда Nace AI зазначає, що Decision Index 0.4 використовує той самий публічний набір, що й 0.3.1. 

Ключові висновки

  • Ваги Drex Max v1 тепер доступні публічно за ліцензією Nace.AI Open RAIL-M.
  • Модель набирає 67,52 у Decision Index 0.4, випереджаючи Drex v2.0 (61,25).
  • 4-бітна збірка працює на Mac з Apple Silicon і 24 ГБ через Kapitsa або MLX.
  • Q8_0 на M5 Pro відрізнявся від H100 bf16 не більш ніж на 0,02.
  • Локальні варіанти для Mac і CPU наразі працюють лише з текстом.

Перегляньте ваги моделі, Q8_0 GGUF, код і документацію, твіт і хмарну консоль. 


Дякуємо команді Nace AI за експертні матеріали та ресурси для цієї статті. Цю статтю спонсувала Nace AI.

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Текст і зображення належать MarkTechPost і наводяться тут із зазначенням авторства та посиланням на оригінальну публікацію.

← До новин

Ще новини

Усі останні новини