Исследователь Anthropic предупредил об угрозах самоулучшающегося сверхинтеллекта
Исследователь искусственного интеллекта Джейкоб Коксон ушёл из Anthropic и в публикации в социальных сетях предупредил, что ведущие разработчики ИИ идут на риски, способные затронуть всю цивилизацию. По его словам, эти компании всерьёз считают, что ИИ может уничтожить всех людей к концу десятилетия, фактически «играя» человеческими жизнями.
Коксон отметил, что главная опасность связана не столько с нынешними моделями, сколько с возможным появлением самоулучшающегося сверхинтеллекта. Такие системы, как он написал, могут превзойти человека, взламывать любые системы, за одну ночь преобразовывать целые отрасли и получать реальные власть и ресурсы.
Исследователь добавил, что одни специалисты не осознали масштаб последствий, а другие стремятся ускорить гонку к сверхинтеллекту, чтобы первым к нему не пришёл безответственный участник. Эван Хубингер, руководитель направления исследований выравнивания в Anthropic, публично поддержал оценку Коксона. Хубингер заявил, что в Anthropic действительно считают возможной гибель всех людей из-за ИИ, а лично он оценивает вероятность такого исхода в ближайшее десятилетие как превышающую 10%.
Текст подготовлен ИИ Sakhanda Wire по материалу Ars Technica. Факты, цитаты и полный контекст — в оригинальной статье ниже.