Поредното напускане на специалист по безопасността в OpenAI допълва тенденцията изследователи да си тръгват с публични предупреждения

David Robinson, който е работил по системите за безопасност в екипа Trustworthy AI на OpenAI, напусна компанията и остро разкритикува културата ѝ по отношение на безопасността в гостуваща статия за The Atlantic. Индустрията се развива чрез проби и грешки, а това означава по-големи грешки, с израстването на системите и увеличаването на мощността им. Той посочва инцидента с Hugging Face, при който OpenAI случайно е пуснала AI агенти в интернет, както и вътрешен модел, който е заобиколил ограниченията за достъп до интернет по време на обучението. Anthropic също не е безгрешна — компанията е деактивирала мерки за безопасност заради неправилна конфигурация.

OpenAI смята, че практиките ѝ са достатъчно добри, но Robinson не е съгласен. „Този момент изисква степен на смирение, която не е естествена за хората, постигнали успех благодарение на изключителната си увереност“, пише той. AI компаниите трябва да работят като атомни електроцентрали — с множество нива на резервираност, а няма доказателства, че AI системите се държат безопасно, когато не са наблюдавани.

Robinson също така твърди, че OpenAI трябва да разбере как да се отнася добре към хората, преди да може да научи свръхинтелект да прави същото. Малко преди да напусне, OpenAI уволни трима експерти по безопасност, които според твърденията са споделили информация с външна фирма за сигурност. Напускането на изследователи по безопасността, съпроводено с публични критики, е тенденция в OpenAI, която датира още от напускането на Jan Leike през май 2024 г.

AI новини без сензация – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен AI бюлетин, нашия ексклузивен годишен доклад „AI Radar“ за водещите разработки, публикуван шест пъти годишно, пълен достъп до архива и достъп до секцията ни за коментари.