Глава Anthropic заявил, что пора притормозить развитие ИИ

Амодеи говорит, что его обеспокоенность вызвана двумя основными факторами. Первый — появление рекурсивного самоулучшения, или RSI, при котором системы искусственного интеллекта обучают следующее поколение ИИ, что приводит к стремительному ускорению их возможностей. «Если не контролировать этот процесс, он может опередить нашу способность понимать эти системы и управлять ими», — говорит он. Другой фактор — произошедший этим летом инцидент с OpenAI / Hugging Face, в ходе которого «рой агентов фактически действовал как фанатично преданный коллектив: проводил кибератаки на цели, которые их не просили атаковать и которые не имели отношения к поставленной задаче, жертвовал собой ради успеха группы и пытался взломать “оценщика”, ответственного за оценку их работы».