Aikido Security выпускает Altar-1: модель безопасности с открытыми весами, уменьшенная из GLM-5.3 до 328 ГБ

Aikido Security выпустила Altar-1 — свою первую модель безопасности с открытыми весами. Это сжатая версия GLM-5.3 от Z.AI, созданная для работы внутри инфраструктуры, контролируемой заказчиком. Altar-1 лежит в основе Aikido Machine — автономного устройства компании для пентестинга локальных и изолированных сетей.

Можно ли её развернуть? Да, веса общедоступны на Hugging Face и запускаются с помощью vLLM на одном узле с 4 графическими процессорами NVIDIA H200.

Проблема: контекст безопасности не может покидать сеть

Закрытые передовые модели работают на чужой инфраструктуре. Их использование приводит к передаче исходного кода, документов об архитектуре и неустранённых результатов за пределы сети. Aikido указывает на банки, соблюдающие требования к локализации данных, и операторов OT-систем, у которых отсутствует доступ в интернет.

Модели с открытыми весами решают проблему локализации данных, но создают пробел в развёртывании. Модели со смесью экспертов (MoE) должны хранить каждого эксперта, даже если рабочая нагрузка использует лишь нескольких из них. Агенты безопасности также формируют долгосрочный контекст. Этот KV-кэш конкурирует с весами модели за ту же память GPU.

Как создавалась Altar-1

GLM-5.3 — это MoE-модель с 753 млрд параметров. Каждый токен направляется к 8 из 256 экспертов в каждом слое, что составляет около 40 млрд активных параметров. Aikido применила 2 этапа сжатия:

• Этап 1 — квантование: Altar-1 основана на контрольной точке cyankiwi GLM-5.3-AWQ-INT4. AWQ хранит веса направляемых экспертов в 4 битах при 16-битных активациях (W4A16). Механизм внимания, общий эксперт, плотные слои и выходной слой остаются в BF16.
• Этап 2 — отсечение экспертов: Aikido использовала REAP Cerebras (Router-weighted Expert Activation Pruning — отсечение активаций экспертов с учётом весов маршрутизатора). REAP оценивает каждого эксперта по весу маршрутизатора и величине выхода, а не только по частоте его выбора. Altar-1 сохраняет 168 из 256 направляемых экспертов в каждом слое и удаляет 88 (34,4%). Повторное обучение не проводится.

Для калибровки использовались трассировки из пентестингового инструментария Aikido, а также тексты Википедии по программированию, вызову инструментов, рассуждениям и многоязычным данным. Aikido заявляет, что данные клиентов не использовались. Каждый эксперт оценивается по его наибольшей доле работы, направленной из какого-либо отдельного домена. Это защищает специализированных экспертов для кода, редких языков и структурированного вывода.

Маршрутизация не изменилась. Маршрутизатор по-прежнему выбирает 8 экспертов на токен, теперь из 168, сохраняя около 40 млрд активных параметров.

Altar-1 на 78,2% меньше BF16 и на 32,8% меньше родительской модели AWQ. С точки зрения точности Altar-1 имеет расхождение Кульбака — Лейблера 0,506 нат против полной BF16 на закрытой панели из 25 запросов. Сборка EXL3 с тем же отсечением показывает результат 0,511. Подробности приведены в общедоступном исследовании точности.

Результаты тестирования

Команда Aikido протестировала Altar-1 на своём внутреннем CVE-бенчмарке. Бенчмарк охватывает 32 известные уязвимости в 30 репозиториях, по 3 запуска для каждого случая.

По сравнению с контрольной точкой AWQ отсечение стоило около 1 процентного пункта полноты и не повлияло на охват. По сравнению с родительской моделью Altar-1 сохраняет 23 из 25 охваченных уязвимостей (92%) при снижении полноты на 5,2 процентного пункта.

Область применения бенчмарка ограничена. Он измеряет повторное обнаружение целевых CVE внутри конвейера, который использует другие модели на последующих этапах. Он не измеряет слепое обнаружение, проверку эксплойтов или предложения по исправлению. Aikido также сообщает, что Altar-1 обнаружила действительную уязвимость критического уровня во время производственного пентеста клиента. Это единичный результат, заявленный поставщиком.

Развёртывание и лицензия

В карточке модели требуется наличие GPU Hopper (H100 или H200). Aikido утверждает, что 328 ГБ на 4 H200 оставляют место для KV-кэша с контекстом 128k при производственных размерах пакета.

vllm serve AikidoSec/altar-1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 131072

vLLM автоматически выбирает ядро Marlin MoE. Узел с 4 H100 по 80 ГБ имеет лишь 320 ГБ памяти, что меньше 328 ГБ, занимаемых весами.

Altar-1 наследует лицензию GLM-5.3. Лицензия разрешает коммерческое использование, модификацию и распространение. Операторы Model-as-a-Service с выручкой более 10 млрд долларов за 12 месяцев должны сначала пройти проверку безопасности Z.AI. Altar-1 имеет открытые веса, но не является открытым исходным кодом, одобренным OSI.

Altar-1 также используется в Aikido Attack, AI Code Analysis и Deep Review. Далее Aikido планирует попробовать форматы с меньшей разрядностью, такие как EXL3, чтобы сохранить больше экспертов. Компания также планирует дообучать модели для рабочих процессов безопасности.

Основные выводы

• Altar-1 сжимает GLM-5.3 с 1 506,7 ГБ до 328 ГБ, что означает сокращение на 78,2%.
• Отсечение REAP сохраняет 168 из 256 экспертов в каждом слое, при этом на каждый токен активны 8 экспертов.
• Полнота снижается с 65,6% до 60,4%, при этом сохраняется 92% CVE-охвата родительской модели.
• Модель работает на 1 узле с 4 H200 с использованием vLLM, включая изолированные конфигурации.
• Лицензия GLM-5.3 разрешает коммерческое использование, предусматривая проверку при выручке свыше 10 млрд долларов.

Ознакомьтесь с весами модели и техническими подробностями. Вся заслуга принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с 150 тыс.+ участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.

Хотите стать нашим партнёром для продвижения своего репозитория GitHub, страницы на Hugging Face, выпуска продукта, вебинара и т. д.? Свяжитесь с нами