Ранен служител на Anthropic и бившият главен оперативен директор на METR намериха начин да овладеят непокорните ИИ агенти

Ден след като изследователят от Anthropic Джейкъб Коксън напусна работата си заради опасенията, че изкуственият интелект може да ни унищожи до края на десетилетието, се срещнах с основателите и зетьове Рун Квист и Раджив Датани. Те смятат, че имат решение, което може да спаси всички ни или поне да помогне за предотвратяването на това ИИ агентите да излязат извън контрол в предприятията.

„ИИ става все по-интелигентен с все по-бързи темпове. Изненадващото при ИИ е, че с повишаването на интелигентността му той става все по-труден за внедряване и контрол, а не по-лесен“, каза Квист, бивш служител на Anthropic, който също така е женен за сестрата на Датани). Датани е бивш главен оперативен директор на организацията за изследване на безопасността на ИИ METR.

Двамата основаха стартъп, наречен Artificial Intelligence Underwriting Company (AIUC), който се надява да внедри безопасността на ИИ в предприятията и компаниите, разработващи модели и агенти с ИИ. Сред клиентите си стартъпът посочва Cursor, Lovable, Harvey и ElevenLabs.

Във вторник AIUC обяви инвестиция от 40 милиона долара в рамките на рунд Series A, воден от Ribbit Capital, с участието на First Harmonic. Преди това компанията е привлякла 15 милиона долара в начален рунд от Нат Фридман чрез неговия фонд NFDG, заедно с Emergence, Terrain и съоснователя на Anthropic Бен Ман, наред с други, с което общото ѝ финансиране достига 55 милиона долара.

Това, което е привлякло вниманието на тази група инвеститори от най-висок клас, е опитът на AIUC да приложи познат модел от киберсигурността към нов набор от рискове, свързани с ИИ. Компанията е изградила слой за одит и сертифициране от трета страна за ИИ агенти.

„Банките, болниците, правителствата и военните вече не отказват да внедряват ИИ, защото даден модел не е достатъчно интелигентен“, каза Квист. „Те отказват, защото са поели ангажименти към собствените си клиенти относно това какво една система ще прави и какво няма да прави, а в момента никой не може да гарантира това.“

Използвайки широко разпространения стандарт за киберсигурност SOC 2 като вдъхновение, AIUC е разработила стандарт, наречен AIUC-1, и услуга за тестване, която валидира агентите спрямо този стандарт.

За да разработи стандарта, AIUC е събрала консорциум от около 250 ръководители по сигурността и риска — купувачите на агенти. „Това са хората, с които се срещаме ежемесечно, и въпросът, който им задаваме, е: Когато купувате агенти от някого, какво бихте търсили? Какви въпроси бихте искали да зададете и какво бихте искали да видите разгледано?“ каза Датани пред TechCrunch.

Тази обратна връзка оформя тестовете. След това стартъпът подлага даден агент на набор от около 5000 теста, за да види как се държи в сценарии, включващи заобикаляне на защитите, халюцинации и изтичане на данни. Резултатите водят до доклад от приблизително 100 страници, описващ подробно къде агентът работи безопасно и надеждно — и къде не го прави. Интересното е, че AIUC използва ИИ агенти за провеждане на тестовете и ИИ за анализ на данните. Хората обаче проверяват финалния одит, каза Квист.

Ако това ви звучи малко познато, така е. Бившият работодател на Датани METR, където той е бил главен оперативен директор от 2024 до 2025 г. и все още е член на борда, извършва подобни тестове за водещите лаборатории, макар че доскоро работата му се е фокусирала основно върху производителността (дали агентите могат надеждно да изпълняват задачи). METR беше една от независимите изследователски организации, които OpenAI използва, за да разследва инцидента с Hugging Face.

Главният изпълнителен директор на Anthropic Дарио Амодей също наскоро призова индустрията за ИИ да забави темпото на разработването на водещи модели, позовавайки се на бързото увеличаване на инцидентите с неправомерно поведение. В публикацията си Амодей предложи идеята водещите лаборатории да бъдат задължени да използват вградени оценители от трети страни, които да наблюдават и проверяват безопасността, и посочи METR като една от възможностите.

Макар че AIUC не предлага да се вгради в обектите на клиентите, цялостната идея е сходна: да предостави на предприятията независима оценка на това колко безопасни са техните ИИ агенти. „Ето къде той преминава тестовете и къде можете да му се доверите. А ето къде има опасения. Трябва да сте наясно с тези препоръки, преди да вземете решение за покупка“, каза Датани.