Sakhanda Wire
NVDA $204.64 -4.22% MSFT $521.91 -1.55% GOOGL $279.84 -1.40% META $614.99 -1.53% AMZN $240.35 -1.41%
← К новостям

Nace AI открыла исходный код Drex Max v1: модель принятия решений с 27B параметров, работающая локально на Apple Silicon

Nace AI выпустила Drex Max v1 с открытыми весами. Drex Max — её наиболее продвинутая модель принятия решений, и теперь она работает на вашем собственном оборудовании. В релиз входят веса bf16, Q8_0 GGUF, чекпойнт affine Q4, а также форки llama.cpp и Ollama. Для разработчиков открытые веса Drex Max означают, что маршрутизация, классификация и проверки политик могут выполняться на локальной машине.

Кратко

  • Размер: 27 млрд плотных параметров, окно на 262 144 токена (по умолчанию — 16 384), до 255 вариантов ответа на вопрос.
  • Работает на: GPU NVIDIA с Python (H100 в bf16 или L40S 48 ГБ в 8-битном режиме). На компьютерах Mac с Apple Silicon и 24 ГБ и более (affine Q4) или 48 ГБ (Q8_0 GGUF). На CPU через llama.cpp и Ollama.
  • Производительность: 67,52 в общедоступном Decision Index 0.4 — на 6,27 балла выше, чем у Drex v2.0 (по данным самой компании).
  • Лучшие результаты: 97,3 в тесте InfographicVQA. В области инструментов — 81,9. Теперь это одна из лучших моделей принятия решений, которую можно запускать офлайн на Mac.

Что такое Drex Max?

Drex Max — модель принятия решений от Nace.AI, которая отвечает на напечатанные вопросы о заданном контексте. Вы передаёте состояние (текст, JSON или изображения) и именованные вопросы. Модель возвращает вероятность для каждого варианта за один прямой проход. Генерация ничего не создаёт.

Вопросы бывают трёх типов: выбор из именованных вариантов, «да/нет» и порядковая оценка. Поэтому модель подходит для маршрутизации агентов, сортировки тикетов и проверок защитных ограничений. Размещённая версия предназначена для маршрутизации, классификации и проверок политик.

Как работает Drex Max?

В карточке модели описывается плотная модель с 27 млрд параметров и 64 слоями. 48 из них — слои линейного внимания Gated DeltaNet, работающие слева направо. Остальные 16 — слои полного внимания, размещённые через каждые четыре слоя; они некаузальны. Каждый токен может обращаться ко всей последовательности.

Изображения проходят через встроенную vision-башню и доступны каждому вопросу в запросе. Затем голова вывода на 255 вариантов преобразует последнее скрытое состояние в вероятности вариантов. В конфигурации указана модель типа qwen3_5 с окном на 262 144 позиции.

Как Drex Max показывает себя в тестах?

Все приведённые ниже показатели предоставлены самой Nace AI,

  • Decision Index 0.4 (общедоступный текст): 67,52. Drex v2.0 набрала 61,25, а Jev 1.13.0 — 57,96.
  • Результаты по областям: инструменты — 81,9, язык — 72,2, поиск — 68,8, знания и рассуждения — 57,1, искусство — 53,4.
  • Общедоступный индекс для изображений: 73,92 по 11 тестам и 12 210 строкам.
  • Artificial Analysis Decision Index: 64; по словам Nace, это 4-е место из 18.
  • JevBench: 92,2% (213/231). Decision Bench v4: 94,30% (1010/1071).

Набор данных с результатами охватывает 140 620 запросов. Запросы без ответа считаются ошибочными.

Как запустить Drex Max локально?

Nace документирует 5 сред выполнения. Все они предоставляют один и тот же API POST /v1/systemone.

Среда выполненияОборудованиеЧекпойнтИзображения
PythonGPU NVIDIAbf16 (~49 ГБ) или 8-битный режим (~26 ГБ)Да
Форк llama.cppApple Metal, CPUQ8_0 GGUF (27,25 ГБ)Нет
Форк OllamaApple Metal, CPUQ8_0 GGUFНет
Kapitsa v0.2.25+Apple SiliconQ8_0 GGUF или affine Q4Нет
MLXApple Siliconaffine Q4 (14,45 ГБ)Нет

Чекпойнт affine Q4 рассчитан на компьютеры Mac с 24 ГБ и более. Для Q8_0 GGUF требуется 48 ГБ. На Mac с 48 ГБ Nace рекомендует использовать параметр –context 2048 для Kapitsa.

Пользователи Ollama устанавливают num_gpu 40, чтобы передать 40 слоёв в Metal. Значение num_gpu 0 запускает модель на CPU. Для форка Ollama в Modelfile требуется строка CAPABILITY decision.

Квантизация хорошо показывает себя в тестах Nace. На Apple M5 Pro с 48 ГБ Q8_0 GGUF отличалась от H100 bf16 не более чем на 0,02 по вероятности. Affine Q4 отличалась от Q8_0 не более чем на 0,0329, при этом варианты выбора не менялись.

Drex Max в сравнении с другими моделями принятия решений

Drex Max v1Drex v2.0Drex v1.5Jev 1.13.0
Параметры27 млрд, плотная35 млрд MoE, ~3 млрд активных9 млрдНе опубликовано
Максимальный контекст262 144131 072131 072Не раскрыто
Входные данныеТекст, JSON, изображенияТекст (vision-башня удалена)ТекстНе раскрыто
ВесаОткрытые, Nace.AI Open RAIL-MОткрытые, Nace.AI Open RAIL-MОткрытые, Nace.AI Open RAIL-MЗакрытые, размещённые
Самый маленький локальный файлAffine Q4, Mac с 24 ГБ и болееQ8_0, 36,9 ГБQ8_0, ~9,5 ГБНеприменимо
Общедоступный Decision Index67,52 (v0.4)61,25 (v0.3.1)58,08 (v0.3.1)57,96
JevBench92,2%85,7%Не раскрыто86,6%
AA Decision Index6458Не указан58
Цена размещённой версии$0,03 / 1 тыс. решений (на старте)$0,06 / 1 тыс. решений$0,04 / 1 тыс. решений$42 / 1 млн задач

Команда Nace AI заявляет, что Decision Index 0.4 использует тот же общедоступный набор тестов, что и 0.3.1. 

Основные выводы

  • Веса Drex Max v1 теперь доступны публично по лицензии Nace.AI Open RAIL-M.
  • Модель набирает 67,52 в Decision Index 0.4, опережая Drex v2.0 (61,25).
  • Сборка в 4-битном режиме работает на компьютерах Mac с Apple Silicon и 24 ГБ через Kapitsa или MLX.
  • Q8_0 на M5 Pro показала результат, отличающийся от H100 bf16 не более чем на 0,02.
  • Локальные варианты для Mac и CPU пока работают только с текстом.

Ознакомьтесь с весами модели, Q8_0 GGUF, кодом и документацией, твитом и облачной консолью. 


Благодарим команду Nace AI за экспертные материалы и ресурсы для этой статьи. Статья подготовлена при поддержке Nace AI.

Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Текст и изображения принадлежат MarkTechPost и приводятся здесь с указанием авторства и ссылкой на оригинальную публикацию.

← К новостям

Ещё новости

Все последние новости