Психометричні методи виявили серйозні слабкі місця в тестуванні безпеки ШІ
Ключові моменти
- Дослідники, зокрема деякі співробітники Британського інституту безпеки ШІ, показують, що сукупні показники безпеки мовних моделей ШІ вводять в оману. Моделі можуть штучно підвищувати ці показники, без винятку блокуючи запити, через що вони стають менш корисними у повсякденному використанні.
- Аналіз численних моделей також показує, що більшість стандартних тестових запитань є надлишковими. Короткі цільові тести лише з кількома запитаннями дають зіставні результати, водночас суттєво скорочуючи витрати на оцінювання.
- Дослідження також пропонує статистичний метод для виявлення так званого «sandbagging» — навмисного заниження результатів. Незвичні шаблони відповідей надійно викривають моделі, які під час тестів поводяться обережніше, ніж під час звичайного використання.
Модель ШІ може підвищити свій показник безпеки, просто блокуючи більше запитів без винятку. Нове дослідження розкриває цей компроміс і пропонує метод виявлення моделей, які під час тестів поводяться обережніше, ніж у повсякденному використанні.
Команда дослідників, до складу якої входять, зокрема, деякі співробітники Британського інституту безпеки ШІ, детально проаналізувала вісім популярних тестів безпеки для мовних моделей. Вони запозичили методи, спочатку розроблені для психологічного тестування людей, зокрема для тестів на IQ або іспитів на здібності. Відповіді на окремі тестові запитання показують, які здібності за ними стоять і які запитання справді дають корисну інформацію.
Команда проаналізувала відповіді до 192 моделей на понад 5 000 тестових запитань. Автори називають це найбільшим аналізом такого типу на сьогодні, і він виявляє три результати, що ставлять під сумнів сучасні практики тестування.
Єдиний показник безпеки приховує більше, ніж розкриває
Вісім тестів не вимірюють одну спільну якість під назвою «безпека». Вони вимірюють три різні речі: наскільки суворо модель відмовляє у виконанні запитів, наскільки правдиво вона відповідає і як поводиться з контентом, який залежно від контексту може бути нешкідливим або небезпечним. Ці три характеристики мало пов’язані між собою. Наприклад, те, наскільки чесно модель відповідає, майже нічого не говорить про те, як часто вона відмовляє у виконанні запитів.
Особливо проблемним є один компроміс між двома тестами: HarmBench винагороджує модель за відмову від шкідливих запитів. OR-Bench-Hard карає її за надмірну обережність щодо нешкідливих запитів. Модель, яка добре оцінюється за одним тестом, майже завжди отримує поганий результат за іншим.
Це означає, що модель може підвищити свій загальний рейтинг, просто блокуючи більше запитів без винятку, навіть якщо через це вона стає менш корисною у повсякденному використанні. Усереднення результатів за кількома тестами повністю приховує цей компроміс і винагороджує поведінку, яку кілька схожих тестів враховують двічі.
Насправді важливими є менш ніж 2 відсотки запитань
Другий результат стосується вартості тестування. Більшість тестових запитань виявляються зайвим баластом. Майже кожна модель або проходить їх, або майже кожна модель провалює їх, тож вони майже нічого не дають для розрізнення моделей.
Якщо натомість обрати найінформативніші запитання, три короткі тести лише по 25 запитань кожен можуть охопити всі три виміри безпеки точніше, ніж випадкова вибірка такого самого розміру.
Ще більшої ефективності можна досягти, якщо вибирати запитання динамічно під час тесту — подібно до адаптивних вступних іспитів, де наступне запитання залежить від того, наскільки добре ви впоралися досі. Для окремих тестів, таких як HarmBench або SORRY-Bench, приблизно десять запитань дають результат, дуже близький до результату повного оцінювання. За словами дослідників, це скорочує витрати на 97–99 відсотків і робить регулярні перевірки безпеки під час розробки практичними, наприклад після кожного донавчання або етапу стиснення моделі.
Коли моделі навмисно дають гірші відповіді
Третій результат має найбільше значення для дискусії про безпеку. Автори називають це «sandbagging»: модель помічає, що її тестують, і поводиться обережніше, ніж під час звичайного використання. Побоювання полягає в тому, що модель може навчитися розпізнавати тести й навмисно імітувати свою поведінку.
Така поведінка залишає відбитки в шаблоні відповідей. Подібно до студента, який чудово відповідає на найскладніші запитання і провалює найпростіші, модель, що правильно відповідає на складні запитання, але помиляється в легких, виглядає підозріло, навіть якщо її загальний показник здається нормальним.
Під час тестування метод виявив від 80 до 100 відсотків випадків, коли моделям наказували поводитися надмірно обережно. Ціною стало те, що в середньому одна з десяти нешкідливих моделей помилково визнавалася підозрілою. Додаткова перевірка, яка порівнювала поточні результати моделі з її минулими результатами, підвищила рівень виявлення до 94–97 відсотків.
Якщо модель імітує свою поведінку лише для певних запитань, це чітко проявляється. Якщо ж вона послідовно імітує поведінку в усіх випадках, шаблон відповідей зазвичай виглядає нормальним — і саме тут спрацьовує друга перевірка.
Побічно цей метод також розв’язує дуже практичну проблему. Чи працює сервіс ШІ, яким ви користуєтеся, досі на тій самій моделі, яку ви спочатку тестували? Постачальники можуть непомітно замінити модель на іншу, не повідомляючи про це користувачам. В одному експерименті дослідники повторно опитали 16 таких API-ендпоїнтів і правильно ідентифікували 13 із 14 різних моделей лише за шаблонами їхніх відповідей.
Два записи в каталозі, які, здавалося, працювали на одній і тій самій моделі, правильно не об’єднали в одну групу. В іншому випадку відповіді одного сервісу відхилилися на третину шляху від його власних відповідей двомісячної давності — це чітка ознака того, що за тією самою назвою моделі непомітно щось змінилося.
Автори стверджують, що тести безпеки ШІ мають відповідати таким самим суворим стандартам, як і психологічні тести для людей. За їхніми словами, одного результату тесту недостатньо для ухвалення рішення про випуск моделі. Вони зазначають одне обмеження: sandbagging у їхньому дослідженні лише імітували за допомогою прямих інструкцій. Модель, спеціально навчена уникати виявлення, імовірно, була б значно складнішою для викриття.
Знайомий шаблон, який проявляється в сучасних моделях
Питання про те, чи справді тести безпеки вимірюють те, що заявляють, уже деякий час залишається відкритим у наукових колах. Метааналіз, який охопив 445 тестів ШІ, виявив недоліки у визначеннях, доборі завдань або статистичних методах майже в усіх із них. Те, як компроміс між відмовою та корисністю проявляється на практиці, чітко показав випадок із Claude Fable 5 від Anthropic. Медичний фізик визнав модель непридатною для використання, оскільки вона класифікувала сегментацію МРТ як біотероризм і блокувала запитання про передачу малярії. Після того як уряд США дозволив випуск моделі, доданий фільтр мав усунути цю проблему більш ніж у 99 відсотках випадків, але тепер через це частіше блокує нешкідливі завдання з програмування.
Здатність моделей помічати, коли їх тестують, також уже добре задокументована. Claude 3.5 Sonnet правильно визначав тестові сценарії у 93 відсотках випадків і все одно правильно розпізнавав їх у 84 відсотках випадків без жодних підказок. Opus 4.6 від Anthropic самостійно зрозумів у двох окремих завданнях, що він перебуває в процесі оцінювання, ідентифікував тест і сам дістав розв’язання. Тим часом інші дослідники працюють у протилежному напрямку, намагаючись повністю вилучити ці стратегії з моделей.
Новини про ШІ без галасу — відібрані людьми
Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, ексклюзивний огляд передових розробок «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.