Служител на OpenAI, отговарящ за безопасността, подаде оставка, твърдейки, че „културата на компанията е счупена“

По собственото му признание Дейвид Робинсън е „донякъде клише“: служител във водеща компания за изкуствен интелект, който отправя мрачно предупреждение, докато напуска работата си.

В есе, публикувано в The Atlantic, Робинсън заяви, че е ръководил изготвянето на докладите за безопасността, съпътствали големите продуктови премиери на OpenAI. Той също така каза, че с трите си години и половина в OpenAI е „сред служителите с най-дълъг стаж в компанията“. Сега той напуска, защото според него „културата на компанията е разрушена“.

В някои отношения коментарите на Робинсън напомнят тези на Джейкъб Коксън, който е работил като изследовател както в OpenAI, така и в Anthropic, преди да напусне и да заяви, че тези компании „играят хазарт с живота ни“. Коментарите на Коксън доведоха до по-широк дебат за безопасността на изкуствения интелект, като главният изпълнителен директор на Anthropic Дарио Амодей представи план за по-предпазливо развитие на изкуствения интелект; ръководители на компании за изкуствен интелект се срещнаха с президента Доналд Тръмп тази седмица и подписаха това, което изглеждаше като набързо написан, необвързващ ангажимент за въвеждане на повече мерки за безопасност.

Но според Робинсън дебатът трябва да надхвърли „конкретните правила или новите закони“ и да разгледа цялостната култура в тези компании. И макар голяма част от публикациите за OpenAI да се съсредоточават върху това как главният изпълнителен директор на компанията Сам Алтман е изгубил доверието на бившите си колеги, есето на Робинсън подсказва, че проблемите с културата на OpenAI са същите като тези на Силициевата долина като цяло.

„OpenAI постигна успех чрез проби и грешки (което нарича „итеративно внедряване“), като търси проблеми и подобрява защитните си механизми в отговор на тях“, написа той. „Но този подход по своята същност гарантира периодични провали — а мащабът на тези провали нараства с повишаването на способностите на системите.“

Посочвайки неотдавнашното проникване в системите на Hugging Face от агенти на OpenAI, както и продължаващите разкрития, че OpenAI открива все повече неконтролирани агенти, Робинсън заяви: „Среда, в която могат да се случват подобни неща, не е място за развиване на изкуствени умове, които биха могли да са по-интелигентни от нас и да не правят това, което искаме от тях.“

Предвид нарасналия риск Робинсън заяви, че компаниите, разработващи авангарден изкуствен интелект, трябва да започнат да работят „като атомни електроцентрали или натоварени летища, с нива на резервираност и внимателно, отнемащо време планиране, така че случайна и неизбежна човешка грешка да не отвори врата към катастрофа.“ 

Но Робинсън каза, че през времето си в OpenAI „никога не е срещал колега с опит в безопасното управление на самолети, в експлоатацията на ядрени реактори без разтопяване или в подпомагането на финансовата система да расте, без да рухне.“

В отговор на есето на Робинсън говорителят на OpenAI Дрю Пусатери заяви, че компанията продължава да подобрява мерките си за безопасност.

„Гарантираме, че моделите ни няма да станат по-способни, отколкото можем безопасно да управляваме и защитаваме, и спираме обучението или задържаме моделите, когато трябва да забавим темпото“, каза Пусатери в изявление. „Правим значителни промени, за да укрепим сигурността в средите си за изследвания и тестване, обучаваме моделите не просто да изпълняват задачи, а да го правят отговорно, разширяваме работата си с независими оценители и подобряваме мониторинга в реално време, за да можем да откриваме и реагираме на тревожно поведение по-рано в процеса на обучение.“

Освен че призова за промени в културата на OpenAI, Робинсън заяви и че е време да се зададат по-големи въпроси относно съгласуването — нещо, което по собственото му признание може да прозвучи „мило и сантиментално“, но според него е от решаващо значение, тъй като настоящите „мерки за това доколко“ системите с изкуствен интелект „съответстват на човешките ценности са груби“.

„Колкото повече индустрията позволява на моделите да се развиват, докато тези проблеми остават нерешени, толкова по-опасно става положението ни“, каза той.

Напускането на Робинсън беше съобщено първо от Business Insider. В есето си той също призна, че следва очевидно често срещана стъпка от наръчника на лицата, подаващи сигнали за нарушения в сферата на изкуствения интелект: наел е PR агенция. Но настоя: „Решението да говоря публично е единствено мое.“ 

„Може би трябваше да остана и да се боря за фундаментални промени в състава на екипите и културата ни, но на практика колегите ми и аз бяхме толкова заети да спринтираме, че рядко имахме възможност да обмислим големи промени, камо ли действително да ги осъществим“, каза Робинсън. „Затова стигнах до извода, че по-силните външни стимули за безопасност са важна част от намирането на правилния подход.“