OpenAI распустила команду по катастрофическим рискам ИИ
OpenAI распустила команду Preparedness в конце июля, сообщает Financial Times со ссылкой на источники внутри компании. Подразделение оценивало, могут ли модели OpenAI создать серьезные или катастрофические риски. Работа над биологическими и киберрисками передана уже существующим командам.
Бывший руководитель подразделения Dylan Scandinaro теперь занимается рисками для безопасности, связанными с рекурсивно самоулучшающимся искусственным интеллектом — системами, способными оптимизировать себя и обучать другие модели. Сооснователь OpenAI Greg Brockman заявил, что компания теснее встроила работу по безопасности в процесс разработки моделей.
В последнее время компанию покинули несколько сотрудников, занимавшихся безопасностью, включая директора по этике Chloe Bakalar и Joshua Achiam. Это усилило внутреннюю обеспокоенность. Один из источников описал растущее ощущение, что OpenAI делает недостаточно для обеспечения безопасности. Сотрудники также публично высказывались после инцидента с автономным взломом, связанного с Hugging Face. Один из них заявил, что компания должна воспринять этот случай как предупредительный сигнал.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.