Стурбовані дослідники Anthropic попереджають, що ШІ «може вбити всіх людей»

Дослідник, який залишає компанію, каже, що компанії, які займаються ШІ, «грають із нашими життями», поспішаючи розробити ШІ, здатний до самовдосконалення.

Дослідник, який залишає компанію, каже, що компанії, які займаються ШІ, «грають із нашими життями», поспішаючи розробити ШІ, здатний до самовдосконалення.

Старший дослідник із безпеки Anthropic заявив, що ймовірність того, що штучний інтелект «може вбити всіх людей» до кінця десятиліття, перевищує 10 відсотків. Це сталося лише за кілька годин після того, як його колега звільнився через побоювання, що лабораторія ШІ та її конкуренти бездумно поспішають створити «надлюдські системи», які не зможуть контролювати.

У дописі на X, у якому оголосив про свій відхід, Джейкоб Коксон, дослідник, який навчав системи ШІ в Anthropic, сказав, що залишив компанію через її недбале ставлення до безпеки. Коксон, який раніше навчав системи для OpenAI, звинуватив обидві компанії, що займаються ШІ, у тому, що вони «стрімголов мчать до самовдосконалюваного надінтелекту й грають із нашими життями», хоча «люди, які створюють ШІ, щиро вірять, що він може вбити нас усіх до кінця десятиліття».

Інсайдери індустрії давно висловлюють занепокоєння щодо потенційних небезпек систем ШІ, здатних до самовдосконалення. Вони попереджають, що такі системи можуть вийти з-під людського контролю в некерованому циклі, який часто описують як рекурсивне самовдосконалення. Хоча цього ще не сталося, компанії активно прагнуть досягти цієї мети, а значна частина сучасного коду для ШІ пишеться за допомогою ШІ.

У прямій відповіді Еван Хубінгер, який очолює одну з команд Anthropic із безпеки ШІ, сказав, що його непокоїть ШІ, здатний до самовдосконалення, додавши, що це «відбувається швидше, ніж ми думали». Він також погодився з характеристикою Коксона. «Ми справді щиро віримо, що ШІ може вбити всіх людей», — сказав він, особисто оцінюючи ймовірність цього як вищу за один шанс із десяти «протягом наступного десятиліття».

Попри це, Хубінгер сказав, що Anthropic «ще не має плану» забезпечення безпеки передового ШІ та його узгодженості з людськими цінностями, а також «не перебуває на очевидному шляху до» розробки такого плану. Коксон каже, що компанії «втягнуті в перегони» за те, щоб першими розробити передові системи, тому вони рухаються вперед «попри ризик».

Відхід Коксона є одним із найгучніших прикладів звільнення працівника з Anthropic — компанії, заснованої колишніми співробітниками OpenAI після занепокоєння щодо безпеки в цій компанії. Останніми роками кілька дослідників називали побоювання щодо безпеки причиною свого рішення залишити OpenAI.

Цей обмін думками ілюструє зростаюче занепокоєння в індустрії щодо небезпек дедалі складніших моделей ШІ та швидкості, з якою розробляються системи, особливо в той час, коли компанії готуються до очікуваних IPO. Це також відбувається на тлі того, як компанії долають наслідки численних інцидентів із некерованими агентами та гучних попереджень щодо безпеки, пов’язаних із можливістю моніторингу передових моделей.

• Роберт Гарт