Исследователи Anthropic предупредили о катастрофических рисках ИИ
Джейкоб Коксон, исследователь, обучавший системы искусственного интеллекта в Anthropic и ранее в OpenAI, сообщил, что ушел из Anthropic из-за, по его мнению, недостаточно строгого подхода к безопасности. В публикации на X он обвинил обе компании в гонке к самоулучшающемуся сверхинтеллекту и заявил, что они «играют с нашими жизнями». По словам Коксона, создатели ИИ всерьез считают, что технология может убить всех людей к концу десятилетия.
Эван Хьюбингер, руководитель одной из команд Anthropic по безопасности ИИ, сказал, что также опасается самоулучшающихся систем и считает, что их развитие идет быстрее ожидаемого. Он согласился с оценкой, что ИИ может убить человечество, и лично оценил такую вероятность более чем в 10% в течение следующего десятилетия. Хьюбингер добавил, что у Anthropic пока нет плана, который обеспечил бы безопасность передового ИИ и его соответствие человеческим ценностям; по его словам, компания также не демонстрирует явного продвижения к созданию такого плана.
Этот обмен мнениями отражает растущие в отрасли опасения по поводу систем, способных выйти из-под контроля людей, пока компании продолжают ускорять разработку передовых моделей.
Текст подготовлен ИИ Sakhanda Wire по материалу The Verge. Факты, цитаты и полный контекст — в оригинальной статье ниже.