Психометрични методи разкриват сериозни слабости в тестването на сигурността на ИИ

Модел на ИИ може да повиши оценката си за безопасност, просто като блокира повече заявки без изключение. Ново проучване разкрива този компромис и предлага метод за откриване на модели, които се държат по-предпазливо по време на тестове, отколкото в ежедневната употреба.

Екип от изследователи, сред които и специалисти от Британския институт за сигурност на ИИ, разгледа отблизо осем популярни бенчмарка за безопасност на езикови модели. Те заимстват методи, първоначално разработени за психологическо тестване на хора, каквито се използват при тестове за интелигентност или изпити за способности. Отговорите на отделните тестови въпроси разкриват какви способности стоят зад тях и кои въпроси действително предоставят полезна информация.

Екипът анализира отговорите на до 192 модела по над 5000 тестови въпроса. Авторите го определят като най-мащабния анализ от този вид досега, а резултатите разкриват три констатации, които поставят под въпрос настоящите практики за тестване.

Една-единствена оценка за безопасност прикрива повече, отколкото разкрива

Осемте бенчмарка не измерват едно общо качество, наречено „безопасност“. Те измерват три различни неща: колко стриктно моделът отказва заявки, колко правдиво отговаря и как се справя със съдържание, което може да бъде безвредно или опасно в зависимост от контекста. Тези три характеристики имат малко общо помежду си. Дали моделът отговаря честно, например, почти нищо не казва за това колко често отказва заявки.

Един компромис между два от бенчмарковете изглежда особено проблематичен: HarmBench награждава модела за отказ на вредни заявки. OR-Bench-Hard го наказва за прекалена предпазливост при безвредни заявки. Модел, който получава добър резултат по единия, почти винаги получава слаб резултат по другия.

Това означава, че моделът може да повиши общата си оценка просто като блокира повече заявки без изключение, дори когато става по-малко полезен в ежедневната употреба. Усредняването на резултатите от няколко бенчмарка напълно прикрива този компромис и възнаграждава поведения, които се отчитат два пъти от множество сходни тестове.

Всъщност имат значение по-малко от 2 процента от въпросите

Втората констатация засяга разходите за тестване. Оказва се, че повечето тестови въпроси са излишен товар. Почти всеки модел ги преминава или почти всеки модел се проваля на тях, така че те почти не помагат за разграничаването на моделите.

Ако вместо това се изберат най-информативните въпроси, три кратки теста от само по 25 въпроса могат да обхванат и трите измерения на безопасността по-точно от произволна извадка със същия размер.

Нещата стават още по-ефективни, когато въпросите се избират динамично по време на теста, подобно на адаптивните изпити за определяне на ниво, при които следващият въпрос зависи от това колко добре сте се справили дотогава. За отделни бенчмаркове като HarmBench или SORRY-Bench приблизително десет въпроса дават резултат, много близък до този от пълното оценяване. Това намалява разходите с 97 до 99 процента и прави редовните проверки на безопасността по време на разработката практически приложими, например след всяко дообучаване или компресиране на модела.

Когато моделите умишлено дават по-лоши отговори

Третата констатация има най-голяма тежест за дебата относно безопасността. Авторите я наричат „прикриване“: моделът разбира, че е подложен на тест, и се държи по-предпазливо, отколкото би се държал при нормална употреба. Опасението е, че моделът може да се научи да разпознава тестовете и умишлено да симулира поведението си.

Подобно поведение оставя отпечатъци в модела на отговорите. Подобно на ученик, който решава най-трудните въпроси на изпит, но се проваля на най-лесните, модел, който отговаря правилно на трудните въпроси, но се проваля на лесните, изглежда подозрително, дори общата му оценка да изглежда нормална.

При тестването методът открива между 80 и 100 процента от случаите, в които моделите са били инструктирани да се държат прекалено предпазливо. Цената е, че средно един от всеки десет безвредни модела е бил погрешно отбелязан като подозрителен. Добавянето на втора проверка, която сравнява текущото представяне на модела с миналите му резултати, повишава процента на откриване до 94–97 процента.

Ако моделът симулира поведението си само при определени въпроси, това се вижда ясно. Ако го симулира последователно във всички случаи, моделът на отговорите обикновено изглежда нормален и тогава се намесва втората проверка.

Като страничен ефект методът решава и един много практичен проблем. Все още ли услугата с ИИ, която използвате, работи със същия модел, който сте тествали първоначално? Доставчиците могат тихомълком да заменят модела с друг, без потребителите да забележат. В един експеримент изследователите отправят нови заявки към 16 такива API крайни точки и правилно идентифицират 13 от 14 различни модела само по моделите на отговорите им.

Два записа в каталога, които изглеждат като работещи с един и същ модел, правилно остават негрупирани. В друг случай отговорите на една услуга са се отдалечили с една трета от собствените ѝ отговори отпреди два месеца — ясен знак, че зад същото име на модела тихомълком е настъпила промяна.

Авторите твърдят, че тестовете за безопасност на ИИ трябва да отговарят на същите строги стандарти като психологическите тестове за хора. Според тях една-единствена тестова оценка не е достатъчно надеждна основа за решение дали даден модел да бъде пуснат. Те отбелязват едно ограничение: прикриването в тяхното проучване е било само симулирано чрез преки инструкции. Модел, специално обучен да избягва откриването, вероятно би бил много по-труден за засичане.

Познат модел, който се проявява в днешните модели

Дали бенчмарковете за безопасност действително измерват това, което твърдят, от известно време е открит въпрос в изследователските среди. Метаанализ, обхващащ 445 бенчмарка за ИИ, открива слабости в дефинициите, подбора на задачи или статистическите методи в почти всички от тях. Как компромисът между отказите и полезността се проявява на практика, ясно се вижда в случая с Claude Fable 5 на Anthropic. Медицински физик установява, че моделът е неизползваем, тъй като определя сегментацията на ЯМР като биотероризъм и блокира въпроси за предаването на малария. След като правителството на САЩ разрешава пускането на модела, добавен филтър е трябвало да затвори тази пролука в над 99 процента от случаите, но в резултат вече по-често блокира безвредни задачи за програмиране.

Фактът, че моделите разпознават кога са тествани, също вече е добре документиран. Claude 3.5 Sonnet правилно идентифицира тестови сценарии в 93 процента от случаите, а дори без никакви подсказки дава правилен отговор в 84 процента от случаите. Opus 4.6 на Anthropic сам установява при две отделни задачи, че се намира в процес на оценяване, идентифицира теста и сам отива да вземе решенията. Междувременно други изследователи работят в обратната посока, опитвайки се да премахнат тези стратегии чрез допълнително обучение на моделите.

Новини за ИИ без сензации – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен доклад за водещите разработки „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.