Працівник OpenAI, який відповідав за безпеку, звільнився, заявивши, що «культура компанії зламана»

За його власним визнанням, Девід Робінсон є «певною мірою кліше»: працівником провідної компанії у сфері ШІ, який, звільняючись, виступає з похмурим попередженням.

У есеї, опублікованому в The Atlantic, Робінсон сказав, що очолював підготовку звітів із безпеки, які супроводжували масштабні запуски продуктів OpenAI. Він також зазначив, що, пропрацювавши в OpenAI три з половиною роки, є «одним із найдовше працевлаштованих співробітників компанії». Тепер він звільняється, оскільки, на його думку, «культура компанії зламана».

У деяких аспектах коментарі Робінсона перегукуються зі словами Джейкоба Коксона, який працював дослідником і в OpenAI, і в Anthropic, перш ніж звільнитися й заявити, що ці компанії «грають у рулетку з нашими життями». Коментарі Коксона спричинили ширшу дискусію про безпеку ШІ, а генеральний директор Anthropic Даріо Амодей оприлюднив план обережнішого розвитку ШІ; цього тижня керівники компаній у сфері ШІ зустрілися з президентом Дональдом Трампом і підписали те, що, схоже, було поспіхом написаною, необов’язковою до виконання обіцянкою запровадити додаткові заходи безпеки.

Однак, на думку Робінсона, дискусія має виходити за межі «конкретних правил або нових законів» і стосуватися загальної культури в цих компаніях. І хоча значна частина матеріалів про OpenAI була зосереджена на тому, як генеральний директор компанії Сем Альтман утратив довіру колишніх колег, есе Робінсона свідчить, що проблеми культури OpenAI є такими самими, як і проблеми Кремнієвої долини загалом.

«OpenAI досягла успіху завдяки методу проб і помилок (який вона називає “ітеративним розгортанням”), виявляючи проблеми й відповідно вдосконалюючи свої запобіжники», — написав він. «Але цей підхід за своєю природою гарантує періодичні невдачі — і масштаб цих невдач зростає в міру того, як системи стають потужнішими».

Посилаючись на нещодавній злам систем Hugging Face агентами OpenAI, а також на нові повідомлення про те, що OpenAI виявляє дедалі більше некерованих агентів, Робінсон заявив: «Середовище, у якому можуть відбуватися подібні речі, не є місцем для розвитку штучного розуму, який може бути розумнішим за нас і поводитися не так, як ми хочемо».

З огляду на зростання ризику Робінсон стверджував, що компаніям, які розробляють передові системи ШІ, потрібно почати працювати «як атомні електростанції чи завантажені аеропорти — з багаторівневою надлишковістю та ретельним, тривалим плануванням, щоб випадкова й неминуча людська помилка не відкрила шлях до катастрофи».

Але Робінсон сказав, що за час роботи в OpenAI він «ніколи не зустрічав колегу, який мав би досвід безпечного запуску літаків у повітря, експлуатації ядерних реакторів без розплавлення активної зони або сприяння зростанню фінансової системи без її краху».

У відповідь на есе Робінсона речник OpenAI Дрю Пусатері заявив, що компанія продовжує вдосконалювати свої заходи безпеки.

«Ми стежимо за тим, щоб наші моделі не ставали потужнішими, ніж ми можемо безпечно контролювати й захищати, а також призупиняємо навчання або відкладаємо випуск моделей, коли нам потрібно знизити темп», — сказав Пусатері в заяві. «Ми вносимо значні зміни, щоб посилити безпеку в наших середовищах досліджень і тестування, навчаємо моделі не просто виконувати завдання, а робити це відповідально, розширюємо співпрацю зі сторонніми оцінювачами та вдосконалюємо моніторинг у реальному часі, щоб раніше виявляти тривожну поведінку й реагувати на неї під час процесу навчання».

Окрім заклику змінити культуру OpenAI, Робінсон також сказав, що настав час поставити масштабніші запитання про узгодження — він визнав, що це може звучати «надто сентиментально», але наголосив, що це критично важливо, оскільки нинішні «показники того, наскільки добре» системи ШІ «відповідають людським цінностям, є дуже грубими».

«Що розумнішими індустрія дозволяє ставати моделям, поки ці проблеми залишаються невирішеними, то небезпечнішою стає наша ситуація», — сказав він.

Про звільнення Робінсона першим повідомило видання Business Insider. У своєму есе він також визнав, що наслідує, схоже, поширений крок у сценарії дій викривачів у сфері ШІ: він найняв PR-агентство. Але наполягав: «Рішення виступити публічно належить лише мені».

«Можливо, мені варто було залишитися й боротися за фундаментальні зміни в нашій кадровій політиці та культурі, але на практиці ми з колегами були настільки зайняті шаленим темпом роботи, що рідко мали можливість обмірковувати масштабні зміни, не кажучи вже про те, щоб справді їх здійснювати», — сказав Робінсон. «Саме тому я дійшов висновку, що сильніші стимули для безпеки — з боку за межами компанії — є важливою частиною правильного вирішення цього питання».