Лабораторії ШІ не можуть контролювати власні системи

Жодна компанія у сфері ШІ повністю не застосовує базові заходи контролю до власних внутрішніх систем ШІ. Таким є висновок першої оцінки, проведеної некомерційною організацією Guidelight. Група дослідила Anthropic, OpenAI, Google, xAI та Meta, спираючись лише на загальнодоступні джерела, зокрема системні картки, звіти з безпеки та дописи в блогах.

Guidelight перевірила шість базових практик. Серед них — ведення журналів внутрішньої активності ШІ, пропуск ризикованих дій через механізм перевірки, аварійне вимкнення, відоме як «розривання контуру», а також плани ізоляції моделей, що відхилилися від заданих цілей. Anthropic та OpenAI очолюють рейтинг із оцінкою C+, далі йде Google з оцінкою D+ та детальною дорожньою картою, тоді як xAI (D−) і Meta (F) показали найгірші результати.

Найкраще компаніям вдається виявляти неналежну поведінку. Найгірше — запобігати їй та локалізувати її наслідки. Guidelight — незалежна некомерційна організація, заснована колишніми керівниками відділу безпеки OpenAI Пейдж Гедлі та Стівеном Адлером.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний передовий звіт «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.