Nace AI пуска с отворен код Drex Max v1: модел за вземане на решения с 27B параметъра, който работи локално на Apple Silicon

Nace AI пусна Drex Max v1 с отворени тегла. Drex Max е най-способният му модел за вземане на решения и вече работи на вашия собствен хардуер. Изданието включва bf16 тегла, Q8_0 GGUF, affine Q4 контролна точка и разклонения на llama.cpp и Ollama. За разработчиците отворените тегла на Drex Max означават, че маршрутизирането, класификацията и проверките на политиките могат да се извършват на локална машина.

Накратко

• Размер: Плътни 27B параметъра, прозорец от 262 144 токена (16 384 по подразбиране), до 255 опции на въпрос.
• Работи на: NVIDIA GPU с Python (H100 bf16 или L40S 48 GB в 8-битов режим). Mac компютри с Apple Silicon и 24 GB или повече (affine Q4) или 48 GB (Q8_0 GGUF). CPU чрез llama.cpp и Ollama.
• Производителност: 67.52 в публичния Decision Index 0.4, с 6.27 точки пред Drex v2.0 (по данни на разработчика).
• Най-добри резултати: 97.3 умение в InfographicVQA. Областта Tools достига 81.9. Модел за вземане на решения от най-висок клас, който вече можете да стартирате офлайн на Mac.

Какво представлява Drex Max?

Drex Max е модел за вземане на решения от Nace.AI, който отговаря на въведени въпроси относно даден контекст. Подавате състояние (текст, JSON или изображения), както и именувани въпроси. Моделът връща вероятност за всяка опция при едно предаване напред. Нищо не се генерира.

Въпросите са от 3 типа: избор между именувани опции, да/не и порядъчна оценка. Това го прави подходящ за маршрутизиране на агенти, триаж на заявки и проверки на предпазни механизми. Хостваната версия е представена за маршрутизиране, класификация и проверки на политики.

Как работи Drex Max?

Картата на модела описва плътна 27B архитектура с 64 слоя. 48 от тях са линейни слоеве с внимание Gated DeltaNet, които работят отляво надясно. Останалите 16 са слоеве с пълно внимание, разположени през всеки четвърти слой, и са некаузални. Всеки токен може да насочва вниманието си към цялата последователност.

Изображенията преминават през вградена визионна кула и са видими за всеки въпрос в дадена заявка. След това глава за 255-посочен прочит преобразува последното скрито състояние във вероятности за опциите. Конфигурацията посочва тип модел qwen3_5 с прозорец от 262 144 позиции.

Как се представя Drex Max в бенчмарковете?

Всички стойности по-долу са предоставени от Nace AI,

• Decision Index 0.4 (публичен текст): 67.52. Drex v2.0 получава 61.25, а Jev 1.13.0 — 57.96.
• Умения по области: Tools 81.9, Language 72.2, Retrieval 68.8, Knowledge and Reasoning 57.1, Arts 53.4.
• Публичен визионен индекс: 73.92 в 11 бенчмарка и 12 210 реда.
• Artificial Analysis Decision Index: 64, което според Nace го поставя на 4-то място от 18.
• JevBench: 92.2% (213/231). Decision Bench v4: 94.30% (1010/1071).

Наборът от данни с резултатите обхваща 140 620 заявки. Заявките без отговор се броят за грешни.

Как да стартирате Drex Max локално?

Nace описва 5 среди за изпълнение. Всички те обслужват един и същ API POST /v1/systemone.

Среда за изпълнение	Хардуер	Контролна точка	Изображения
Python	NVIDIA GPU	bf16 (~49 GB) или 8-битова (~26 GB)	Да
Разклонение на llama.cpp	Apple Metal, CPU	Q8_0 GGUF (27.25 GB)	Не
Разклонение на Ollama	Apple Metal, CPU	Q8_0 GGUF	Не
Kapitsa v0.2.25+	Apple Silicon	Q8_0 GGUF или affine Q4	Не
MLX	Apple Silicon	affine Q4 (14.45 GB)	Не

Контролната точка affine Q4 е предназначена за Mac компютри с 24 GB или повече. Q8_0 GGUF изисква 48 GB. При Mac с 48 GB Nace препоръчва –context 2048 за Kapitsa.

Потребителите на Ollama задават num_gpu 40, за да прехвърлят 40 слоя към Metal. Задаването на num_gpu 0 го стартира на CPU. Разклонението на Ollama изисква ред CAPABILITY decision във файла Modelfile.

Квантизацията се представя добре в тестовете на Nace. На Apple M5 Pro с 48 GB Q8_0 GGUF съвпада с H100 bf16 с разлика до 0.02 на вероятност. Affine Q4 остава в рамките на 0.0329 спрямо Q8_0, без обръщане на избора.

Drex Max спрямо други модели за вземане на решения

	Drex Max v1	Drex v2.0	Drex v1.5	Jev 1.13.0
Параметри	27B плътни	35B MoE, ~3B активни	9B	Не е публикувано
Максимален контекст	262 144	131 072	131 072	Не е разкрито
Входове	Текст, JSON, изображения	Текст (визионната кула е премахната)	Текст	Не е разкрито
Тегла	Отворени, Nace.AI Open RAIL-M	Отворени, Nace.AI Open RAIL-M	Отворени, Nace.AI Open RAIL-M	Затворени, хоствани
Най-малък локален файл	Affine Q4, Mac с 24 GB+	Q8_0, 36.9 GB	Q8_0, ~9.5 GB	Неприложимо
Публичен Decision Index	67.52 (v0.4)	61.25 (v0.3.1)	58.08 (v0.3.1)	57.96
JevBench	92.2%	85.7%	Не е разкрито	86.6%
AA Decision Index	64	58	Не е посочено	58
Хоствана цена	$0.03 / 1K решения (при стартиране)	$0.06 / 1K решения	$0.04 / 1K решения	$42 / 1 млн. задачи

Екипът на Nace AI заявява, че Decision Index 0.4 използва същия публичен набор като 0.3.1. 

Основни изводи

• Теглата на Drex Max v1 вече са публични под лиценза Nace.AI Open RAIL-M.
• Получава 67.52 в Decision Index 0.4, над Drex v2.0 (61.25).
• Версия с 4-битова квантизация работи на Mac компютри с Apple Silicon и 24 GB чрез Kapitsa или MLX.
• Q8_0 на M5 Pro съвпада с H100 bf16 с разлика до 0.02.
• Локалните Mac и CPU варианти засега поддържат само текст.

Разгледайте теглата на модела, Q8_0 GGUF, кода и документацията, туита и облачната конзола. 

---

_{Благодарим на екипа на Nace AI за лидерството в областта и ресурсите за тази статия. Тази статия е спонсорирана от Nace AI.}