Співробітник OpenAI з питань безпеки звільнився й б’є на сполох

Девід Робінсон писав звіти з безпеки в OpenAI, а тепер каже, що її культура «зламана»

Девід Робінсон писав звіти з безпеки в OpenAI, а тепер каже, що її культура «зламана»

Девід Робінсон раніше писав звіти з безпеки, які супроводжували кожен великий реліз моделі в OpenAI. Цього тижня він звільнився зі своєї посади й тепер висловлюється у редакційній статті в The Atlantic.

Зрозуміло, якщо ви дещо цинічно сприймаєте те, як усі раптом виходять із тіні, щоб попередити про небезпеку речі, яку вони допомогли створити. Зрештою, саме вони й створили цей безлад. Але це не означає, що ми маємо ігнорувати їхні попередження.

Робінсон каже, що культура в індустрії фундаментально зламана. За його словами, проблема значно глибша, ніж просто запровадити кілька нових правил чи норм щодо того, як ми працюємо з навчанням моделей. Кремнієва долина діяла з «надзвичайною впевненістю» та в режимі «постійних спринтів», створюючи дедалі більші й кращі моделі з «безперешкодним оптимізмом», який ігнорує або недооцінює потенційні проблеми.

Він каже, що для ШІ-компаній настав час розвинути почуття смирення й вийти за межі замкнутого світу технологічної індустрії, де панує принцип «рухайся швидко й ламай речі». Зокрема, за його словами, ШІ потребує гарантій безпеки на рівні ядерної енергетики:

З огляду на сьогоднішні ризики передові лабораторії мають працювати як атомні електростанції або завантажені аеропорти — із багаторівневою надлишковістю та ретельним, тривалим плануванням, щоб випадкова й неминуча людська помилка не відчинила двері до катастрофи.

Робінсон — лише останній у дедалі довшій низці дослідників і фахівців із безпеки, які залишили свої посади у провідних ШІ-компаніях. Схоже, Джейкоб Коксон започаткував цей відтік, звільнившись з Anthropic, а потім публічно заявивши, що ШІ «може вбити всіх нас до кінця десятиліття». Після нього пішли Роберт О’Каллаген, Білал Чугтай і Джош Енгелс із Google DeepMind, а також Джо Бентон з Anthropic.

• Терренс О’Браєн