OpenAI розформувала команду з катастрофічних ризиків ШІ
OpenAI розформувала команду Preparedness наприкінці липня, повідомляє Financial Times із посиланням на внутрішні джерела. Підрозділ оцінював, чи можуть моделі компанії створювати серйозні або катастрофічні ризики. Роботу з біологічними та кіберризиками передали вже наявним командам.
Колишній керівник підрозділу Dylan Scandinaro тепер зосередився на ризиках для безпеки від рекурсивно самовдосконалюваного штучного інтелекту — систем, здатних оптимізувати себе й навчати інші моделі. Співзасновник OpenAI Greg Brockman заявив, що компанія тісніше інтегрувала роботу з безпеки в розроблення моделей.
Останнім часом компанію залишили кілька фахівців із безпеки, зокрема директорка з етики Chloe Bakalar і Joshua Achiam. Це посилило внутрішню стурбованість. За словами одного з джерел, зростає відчуття, що OpenAI робить недостатньо для безпеки. Працівники також публічно висловлювали занепокоєння після інциденту з автономним зламом, пов’язаного з Hugging Face. Один із них назвав цей випадок попереджувальним сигналом.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.