Aikido Security випускає Altar-1: модель безпеки з відкритими вагами, зменшена з GLM-5.3 до 328 ГБ

Aikido Security випустила Altar-1, свою першу модель без обмежень на ваги для безпеки. Це стиснена версія GLM-5.3 від Z.AI, створена для роботи всередині інфраструктури, яку контролює клієнт. Altar-1 працює в Aikido Machine — автономному пристрої компанії для пентестингу локальних мереж і мереж без доступу до інтернету.

Чи можна її розгорнути? Так, ваги доступні публічно на Hugging Face, а модель працює з vLLM на одному вузлі з 4 графічними процесорами NVIDIA H200.

Проблема: контекст безпеки не може залишати мережу

Закриті передові моделі працюють на чужій інфраструктурі. Їх використання означає надсилання вихідного коду, документації архітектури та невиправлених результатів перевірок за межі мережі. Aikido вказує на банки, для яких діють вимоги щодо локалізації даних, і операторів ОТ-систем, які не мають маршруту до інтернету.

Моделі без обмежень на ваги розв’язують проблему локалізації даних, але створюють прогалину в розгортанні. Моделі з сумішшю експертів (MoE) мають зберігати кожного експерта, навіть якщо робоче навантаження використовує лише кількох із них. Агенти безпеки також формують довготривалий контекст. Цей кеш KV конкурує з вагами моделі за ту саму пам’ять GPU.

Як створювали Altar-1

GLM-5.3 — це MoE-модель із 753 млрд параметрів. Для кожного токена на кожному шарі обираються 8 із 256 експертів, тобто приблизно 40 млрд активних параметрів. Aikido застосувала 2 етапи стиснення:

• Крок 1 — квантизація: Altar-1 створено на основі контрольної точки cyankiwi GLM-5.3-AWQ-INT4. AWQ зберігає ваги вибраних експертів у 4 бітах, а активації — у 16 бітах (W4A16). Механізм уваги, спільний експерт, щільні шари та вихідний шар залишаються у форматі BF16.
• Крок 2 — відсікання експертів: Aikido використала REAP Cerebras (Router-weighted Expert Activation Pruning — відсікання активацій експертів із вагами маршрутизатора). REAP оцінює кожного експерта за вагою маршрутизатора та величиною виходу, а не лише за частотою його вибору. Altar-1 зберігає 168 із 256 вибраних експертів на кожному шарі та видаляє 88 (34,4%). Повторне навчання не проводилося.

Для калібрування використовувалися трасування з пентестингового середовища Aikido, а також тексти з програмування, виклику інструментів, міркувань і багатомовної Вікіпедії. Aikido зазначає, що дані клієнтів не використовувалися. Кожного експерта оцінюють за його найбільшою часткою маршрутизованої роботи в будь-якій окремій предметній області. Це захищає спеціалізованих експертів для коду, рідкісних мов і структурованого виводу.

Маршрутизація не змінилася. Маршрутизатор і надалі обирає 8 експертів для кожного токена, але тепер із 168, із приблизно 40 млрд активних параметрів.

Altar-1 на 78,2% менша за BF16 і на 32,8% менша за батьківську модель AWQ. За показником точності Altar-1 має розбіжність Кульбака—Лейблера 0,506 натів порівняно з повною BF16 на закритій панелі з 25 запитів. Збірка EXL3 з таким самим відсіканням набирає 0,511. Деталі наведено в публічному дослідженні точності.

Результати тестування

Команда Aikido протестувала Altar-1 на своєму внутрішньому бенчмарку CVE. Бенчмарк охоплює 32 відомі вразливості у 30 репозиторіях, по 3 запуски для кожного випадку.

Порівняно з контрольною точкою AWQ, відсікання коштувало приблизно 1 пункт повноти й не змінило охоплення. Порівняно з батьківською моделлю Altar-1 зберігає 23 із 25 охоплених вразливостей (92%), але має на 5,2 пункту нижчу повноту.

Охоплення бенчмарку вузьке. Він вимірює цілеспрямоване повторне виявлення CVE всередині конвеєра, який використовує інші моделі для супутніх етапів. Він не вимірює сліпе виявлення, перевірку експлойтів або пропозиції виправлень. Aikido також повідомляє, що Altar-1 виявила вразливість критичного рівня під час виробничого пентесту клієнта. Це одиничний результат, про який повідомив постачальник.

Розгортання та ліцензія

У картці моделі зазначено, що потрібні графічні процесори Hopper (H100 або H200). Aikido стверджує, що 328 ГБ на 4 H200 залишають достатньо місця для кешу KV із контекстом 128 тис. токенів за виробничих розмірів пакетів.

vllm serve AikidoSec/altar-1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 131072

vLLM автоматично обирає ядро Marlin MoE. Вузол із 4 H100 по 80 ГБ має лише 320 ГБ пам’яті, що менше за 328 ГБ ваг.

Altar-1 успадковує ліцензію GLM-5.3. Ліцензія дозволяє комерційне використання, модифікацію та розповсюдження. Оператори Model-as-a-Service із доходом понад 10 млрд доларів за 12 місяців спочатку мають пройти перевірку безпеки Z.AI. Altar-1 має відкриті ваги, але не є відкритим програмним забезпеченням, схваленим OSI.

Altar-1 також працює в Aikido Attack, AI Code Analysis і Deep Review. Наступним кроком Aikido планує випробувати формати з меншою кількістю бітів, такі як EXL3, щоб зберегти більше експертів. Також компанія планує донавчати моделі для робочих процесів безпеки.

Основні висновки

• Altar-1 стискає GLM-5.3 з 1 506,7 ГБ до 328 ГБ — скорочення на 78,2%.
• Відсікання за допомогою REAP зберігає 168 із 256 експертів на кожному шарі, причому для кожного токена активними є 8.
• Повнота знижується з 65,6% до 60,4%, водночас зберігається 92% охоплення CVE батьківської моделі.
• Модель працює на 1 вузлі з 4 H200 за допомогою vLLM, зокрема в мережах без доступу до інтернету.
• Ліцензія GLM-5.3 дозволяє комерційне використання, але передбачає перевірку для компаній із доходом понад 10 млрд доларів.

Перегляньте ваги моделі та технічні деталі. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання з понад 150 тис. учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами