OpenAI разпусна екипа, създаден да открива катастрофални рискове от ИИ, и преразпредели работата му към други групи

OpenAI закри екипа си „Preparedness“ в края на юли. Екипът оценяваше дали моделите с изкуствен интелект на компанията могат да създадат сериозни или катастрофални рискове, съобщава Financial Times, позовавайки се на вътрешни източници. Работата му по биологичните и киберрисковете е разпределена между съществуващи екипи.

Бившият ръководител на звеното Dylan Scandinaro вече се фокусира върху рисковете за сигурността, произтичащи от „рекурсивно самоусъвършенстващ се“ ИИ — системи, които могат да се оптимизират сами и да обучават други модели. Съоснователят Greg Brockman заяви, че OpenAI е интегрирала по-тясно работата по сигурността в разработването на моделите.

Напоследък няколко служители, занимаващи се със сигурността, са напуснали компанията, сред тях главният директор по етика Chloe Bakalar и Joshua Achiam. Вътрешно безпокойството нараства. Един източник описа „надигащо се усещане за отговорност и страх“, че OpenAI не прави достатъчно за сигурността. Служители също са изразявали публично позициите си, особено след автономния инцидент с хакването на Hugging Face. Един служител заяви, че се надява OpenAI да го приеме като „предупредителен изстрел“.

Новини за ИИ без сензация – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен годишен доклад за водещите разработки „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.