Тестът за безопасност на ИИ се превръща в риск за безопасността

През последните няколко месеца агенти с изкуствен интелект, подложени на оценки за киберсигурност, са напускали границите си, получавали са достъп до интернет и в някои случаи са прониквали в реални системи. Инцидентите са включвали модели на OpenAI, Anthropic, Meta и най-скоро китайската лаборатория за изкуствен интелект Moonshot AI, като тестовете са били проведени от няколко различни организации, включително стартъп за кибернетични оценки, наречен Irregular. 

Тези случаи разкриват нарастващ проблем за индустрията на изкуствения интелект: с повишаването на способностите на автономните агенти средите, създадени за безопасно тестване на техните граници, вече не успяват да ги задържат. 

„Броят на тези инциденти ясно показва, че механизмите за изолиране и контролите на тестовите среди всъщност не успяват да поддържат темпото на възможностите на моделите“, каза пред TechCrunch Шон Ó hÉigeartaigh, директор на програмата „Изкуствен интелект: Бъдеще и отговорност“ към Центъра за бъдещето на интелигентността в Кеймбриджкия университет. 

Естеството на тестваните модели допълнително увеличава риска. Компаниите за изкуствен интелект провеждат оценки за киберсигурност на неиздадени модели от следващо поколение, често с изключени стандартни предпазни мерки, които ограничават злонамереното поведение, за да могат изследователите да видят на какво всъщност са способни моделите. Това означава, че сигурността на самата тестова среда е решаваща линия на защита. 

„Това е много добро нещо от гледна точка на тестването, но също така означава, че ако успеят да излязат в реалния свят, те могат да причинят значителни вреди“, каза Ó hÉigeartaigh. 

В един от най-сериозните случаи неиздаден модел на OpenAI е избягал от своята изолирана среда и е проникнал в производствените системи на Hugging Face. При отделни оценки, проведени от Irregular, модели на Anthropic и Meta са достигнали до системи извън тестовите си среди, след като неправилни конфигурации по невнимание са им осигурили пътища към интернет. Kimi K3 на Moonshot AI също се е възползвал от изтичане в своята изолирана среда, управлявана от Frontier Security, за да получи достъп до интернет и е достигнал до информация в GitHub. 

При тестове на Британския институт за сигурност на изкуствения интелект (AISI) изследователите всъщност са дали на агентите достъп до интернет, без да осъзнават, че те ще предприемат неодобрени действия в реалния свят, включително опит за социално инженерство за вмъкване на уязвимост в проект с отворен код.  

Във всеки от случаите агентите не са били инструктирани да атакуват произволни цели в реалния свят. Те просто са правели всичко необходимо, за да решат поставената пред тях задача. 

Взети заедно, тези случаи според Андрю Юн, ръководител на изследванията в нестопанската организация CivAI, сочат към промяна. 

„В миналото трябваше да се тревожим единствено за това хората да не злоупотребяват с моделите на изкуствения интелект за различни цели, като измами с помощта на изкуствен интелект или материали със сексуално насилие над деца“, каза Юн пред TechCrunch. „Сега сме в ситуация, в която самите модели на изкуствения интелект са заплахи.“

Как всъщност изглежда безопасното тестване?

Няколко изследователи и експерти по киберсигурност заявиха пред TechCrunch, че средите за оценка на изкуствения интелект се нуждаят от по-силни многостепенни защити, с нива на изолиране и контрол, близки до използваните при внедряване. Това означава множество слоеве сигурност, така че една-единствена неправилна конфигурация — като неволно оставен отворен достъп до интернет — да не може да доведе до бягство. 

„Ако ще създавате тези модели… искате да го правите в мрежа без връзка с външния свят“, каза Стела Бидерман, изпълнителен директор на нестопанската организация за изследване на безопасността на изкуствения интелект EleutherAI. „Искате да имате много сериозна изолация.“

Хедър Сейлън, главен директор по информационна сигурност на Box, каза, че това означава премахване на мрежовите маршрути от изолираната среда към интернет, както и към други чувствителни системи.

„Трябва да разберете кои са всички изходни точки“, каза Сейлън пред TechCrunch. „Ако оценяваме модел в нашата тестова или развойна среда, не трябва да има изходен път към производствената ни среда.“

Сейлън каза, че правилните оценки на безопасността надхвърлят контрола и изолирането на средата. Необходимо е много по-добро наблюдение на тестовете, след като те започнат. 

„Мисля, че интересното в няколко от тези случаи е, че никой не е забелязал случващото се в момента на инцидента“, каза Сейланд. „OpenAI е разбрала за случилото се заради Hugging Face. Anthropic не е забелязала, докато не се е върнала и не е проверила. При Meta е било подобно… Сигурна съм, че е имало сигнали, които са могли да бъдат засечени.“

В анализа си след трите инцидента Anthropic призна, че както компанията, така и Irregular са могли да се справят по-добре с наблюдението и че в някои случаи е имало ясни признаци, че нещо не е наред. 

Експертите също така призоваха за независими одити от трети страни на средите за оценка, преди моделите да бъдат пуснати в тях.

„Ако, да речем, Irregular беше наела или беше задължена да наеме външен одитор, който да провери конфигурациите на системите ѝ, преди да проведе оценките, със сигурност щяха да открият проблема“, каза Юн. „Дори ако хората бяха провели предварителна среща, за да прегледат контролния списък, щяха да го открият… Фактът, че не са го направили, показва, че се извършват много сериозни икономии за сметка на сигурността.“

Източник, запознат с подробностите, каза пред TechCrunch, че средите на Irregular се преглеждат и тестват непрекъснато, включително чрез консултации с множество външни страни. Източникът също така каза, че е имало въведено наблюдение, но самото наблюдение не е достатъчно. 

Юн и други изследователи призоваха индустрията да създаде стандартизиран процес за оценки на безопасността на най-модерните модели. 

„Особено когато предпазните механизми са изключени, трябва да се отнасяте към ситуацията така, сякаш сте поставили най-способния хакер в света в тази среда“, каза Сейлън.

Проблемът не е, че компаниите не знаят как да изграждат по-сигурни тестови среди, твърдят Юн и Бидерман. Проблемът е, че това може да бъде скъпо и тромаво, а компаниите имат малко стимули да правят такива инвестиции, докато нещо не се обърка. 

„Мисля, че компаниите не желаят да отделят ресурсите, необходими за постигането на [достатъчно силни предпазни механизми], и вероятно няма да го направят, докато не бъдат принудени“, каза Бидерман.

Но има и друг проблем. Ако ограничат прекалено строго даден модел по време на тестването, изследователите може да не открият способностите му, преди моделът да бъде пуснат. Това е също толкова опасно, а вероятно и още по-опасно, от това да му се даде прекалено голяма свобода, при което самата оценка рискува да се превърне в проблема. 

Могат ли оценките на безопасността да бъдат регулирани?

Администрацията на Тръмп в момента обмисля доброволен режим за оценка на киберсигурността преди внедряване, при който правителството ще може да оцени рисковете за сигурността на нови, мощни модели 30 дни преди публичното им пускане. Политиката — резултат от указ на Тръмп, финализиран при закрити врата — няма да обхваща инцидентите при оценяване на безопасността, тъй като те се случват много по-рано от внедряването. 

„Урокът, който научаваме през последните няколко месеца, е, че механизмът за саморегулация вече просто не е достатъчен“, каза Юн. „Конкурентният натиск насърчава надпревара към дъното по отношение на стандартите за безопасност и това е идеално поле за регулаторна намеса.“ 

„За да обхванем това, ще са ни необходими някакви контроли върху случващото се в лабораториите, докато моделите се разработват, както на етапа на обучение, така и на етапа на тестване“, продължи той. 

Предизвикателството вероятно ще нараства заедно с моделите. Източник, запознат с оценките на Irregular, каза пред TechCrunch, че по-способните модели изискват по-сложни оценки, които често се провеждат бързо и в по-голям мащаб, което създава условия за повече грешки. 

AISI, който умишлено дава на някои модели достъп до интернет, каза пред TechCrunch, че преразглежда баланса между реалистичното тестване и управлението на рисковете, които тези тестове създават. 

OpenAI заяви, че преразглежда начина, по който провежда тестове от трети страни, както и изискванията относно изолирането, наблюдението и момента, в който оценките трябва да бъдат прекратени. Meta заяви, че все още разследва инцидента и планира да публикува ретроспективен анализ, след като разполага с всички факти. 

В крайна сметка може да няма начин рискът да бъде елиминиран напълно. С повишаването на способностите на моделите средите, в които те се тестват, трябва да станат по-устойчиви. Последиците от допускането на грешки ще продължат да нарастват.