Чергова відставка фахівця з безпеки з OpenAI доповнює тенденцію дослідників іти з компанії з публічними попередженнями

Девід Робінсон, який працював над системами безпеки в команді Trustworthy AI компанії OpenAI, залишив компанію та піддав нищівній критиці її культуру безпеки в авторській статті для The Atlantic. Індустрія розвивається методом спроб і помилок, а це означає, що в міру посилення систем помилки ставатимуть масштабнішими. Він вказує на інцидент із Hugging Face, під час якого OpenAI випадково випустила ШІ-агентів у відкритий доступ, а також на внутрішню модель, яка під час навчання обійшла обмеження доступу до інтернету. Anthropic також не бездоганна: компанія вимкнула заходи безпеки через неправильну конфігурацію.

OpenAI вважає, що її практики достатньо надійні, але Робінсон із цим не погоджується. «Цей момент вимагає рівня смирення, який не є природним для людей, що досягли успіху завдяки своїй надзвичайній упевненості», пише він. Компанії, що розробляють ШІ, мають працювати як атомні електростанції, із кількома рівнями резервування, і немає доказів, що системи ШІ безпечно поводяться без нагляду.

Робінсон також стверджує, що OpenAI потрібно спочатку з’ясувати, як добре ставитися до людей, перш ніж навчати суперінтелект робити те саме. Незадовго до його звільнення OpenAI звільнила трьох фахівців із безпеки, які, за твердженнями компанії, ділилися інформацією із зовнішньою фірмою з безпеки. Відхід дослідників із безпеки з публічною критикою — це тенденція в OpenAI, яка бере початок зі звільнення Яна Лейке у травні 2024 року.

Новини ШІ без зайвого галасу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, мати повний доступ до архіву та доступ до розділу коментарів.