Aikido Security пуска Altar-1: модел за сигурност с отворени тегла, олекотен от GLM-5.3 до 328 GB

Aikido Security представи Altar-1 — своя първи модел за сигурност с отворени тегла. Той е компресирана версия на GLM-5.3 на Z.AI, създадена да работи в инфраструктура, контролирана от клиента. Altar-1 захранва Aikido Machine — автономния уред на компанията за пентестове в локални и изолирани от мрежата среди.

Може ли да бъде внедрен? Да, теглата са публично достъпни в Hugging Face и работят с vLLM на един възел с 4x NVIDIA H200 GPU.

Проблемът: контекстът за сигурността не може да напуска мрежата

Затворените фронтирни модели работят върху инфраструктура на други организации. Използването им изпраща изходен код, архитектурна документация и непоправени находки извън мрежата. Aikido посочва банки, които са подчинени на изисквания за локализация на данните, и оператори на OT системи без маршрут към интернет.

Моделите с отворени тегла решават проблема с локализацията, но създават пропуск във внедряването. Моделите със смес от експерти (MoE) трябва да съхраняват всеки експерт, дори когато работното натоварване използва само няколко от тях. Агентите за сигурност също изграждат дългосрочен контекст. Този KV кеш се конкурира с теглата на модела за същата GPU памет.

Как е създаден Altar-1

GLM-5.3 е MoE модел със 753 млрд. параметъра. Всеки токен се насочва към 8 от 256 експерта на слой, което представлява около 40 млрд. активни параметъра. Aikido приложи 2 стъпки за компресиране:

• Стъпка 1 — квантизация: Altar-1 започва от чекпойнта cyankiwi GLM-5.3-AWQ-INT4. AWQ съхранява теглата на насочените експерти в 4 бита, с 16-битови активации (W4A16). Механизмът за внимание, споделеният експерт, плътните слоеве и главата остават в BF16.
• Стъпка 2 — премахване на експерти: Aikido използва REAP на Cerebras (Router-weighted Expert Activation Pruning — претеглено от маршрутизатора премахване на активирането на експерти). REAP оценява всеки експерт според теглото на маршрутизатора и големината на изхода, а не само според това колко често е избран. Altar-1 запазва 168 от 256 насочени експерта на слой и премахва 88 (34,4%). Не е извършено допълнително обучение.

Калибрирането използва трасета от пентестовия набор на Aikido, както и текстове от Wikipedia за програмиране, извикване на инструменти, разсъждение и многоезични задачи. Aikido заявява, че не са използвани клиентски данни. Всеки експерт се оценява според най-големия му дял от работата, насочена към която и да е отделна област. Това защитава специализираните експерти за код, редки езици и структурирани изходни данни.

Маршрутизацията не е променена. Маршрутизаторът все още избира 8 експерта за токен, но вече от 168, с около 40 млрд. активни параметъра.

Altar-1 е с 78,2% по-малък от BF16 и с 32,8% по-малък от родителския AWQ модел. По отношение на вярността Altar-1 има KL дивергенция от 0,506 nats спрямо пълния BF16 при затворен панел от 25 подкани. Версията EXL3 със същото орязване постига 0,511. Подробностите са в публичното проучване на вярността.

Резултати от бенчмарка

Екипът на Aikido тества Altar-1 с вътрешния си CVE бенчмарк. Бенчмаркът обхваща 32 известни уязвимости в 30 хранилища, с по 3 изпълнения на случай.

В сравнение с AWQ чекпойнта премахването на експерти струва около 1 пункт от припомнянето и не води до загуба на покритие. В сравнение с родителския модел Altar-1 запазва 23 от 25 покрити уязвимости (92%) при 5,2 пункта по-ниско припомняне.

Обхватът на бенчмарка е тесен. Той измерва целево повторно откриване на CVE в рамките на процес, който използва други модели за съпътстващите етапи. Не измерва сляпо откриване, валидиране на експлойти или предложения за отстраняване. Aikido също съобщава, че Altar-1 е открил валидна уязвимост с критична степен на сериозност по време на производствен пентест на клиент. Това е единичен резултат, съобщен от доставчика.

Внедряване и лиценз

Картата на модела изисква Hopper GPU (H100 или H200). Aikido посочва, че 328 GB върху 4x H200 оставят място за KV кеш с контекст от 128k при производствени размери на пакетите.

vllm serve AikidoSec/altar-1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 131072

vLLM автоматично избира ядрото Marlin MoE. Възел с 4x H100 80 GB разполага само с 320 GB памет, което е по-малко от 328 GB тегла.

Altar-1 наследява лиценза на GLM-5.3. Лицензът разрешава комерсиална употреба, модификация и повторно разпространение. Операторите на Model-as-a-Service с приходи над 10 млрд. долара за 12 месеца трябва първо да преминат проверка за сигурност от Z.AI. Altar-1 е модел с отворени тегла, а не софтуер с отворен код, одобрен от OSI.

Altar-1 също захранва Aikido Attack, AI Code Analysis и Deep Review. Следващата стъпка на Aikido е да изпробва формати с по-малка битова дълбочина, като EXL3, за да може да запази повече експерти. Компанията планира също да дообучи модели за работни процеси, свързани със сигурността.

Основни изводи

• Altar-1 компресира GLM-5.3 от 1 506,7 GB до 328 GB — намаление от 78,2%.
• Премахването на експерти чрез REAP запазва 168 от 256 експерта на слой, като 8 са активни за токен.
• Припомнянето спада от 65,6% до 60,4%, като се запазват 92% от CVE покритието на родителския модел.
• Работи на 1 възел с 4x H200 чрез vLLM, включително в изолирани от мрежата среди.
• Лицензът на GLM-5.3 разрешава комерсиална употреба, с клауза за проверка при приходи над 10 млрд. долара.

Разгледайте теглата на модела и техническите подробности. Всички заслуги са за изследователя на този проект. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? вече можете да се присъедините към нас и в Telegram.

Имате нужда от партньорство с нас за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктово представяне, уебинар и т.н.? Свържете се с нас