Anthropic попереджає, що дуже близька до здатності RSI, тобто до ІІ, який сам себе створює

Хоча багато уваги було зосереджено на оновлених фінансових показниках, які Anthropic оприлюднила у своїй переглянутій формі S-1A у понеділок (доходи стрімко зростають, але витрати — також), лабораторія ШІ в дрібному шрифті документа підкинула ще одну маленьку сенсацію.

Схоже, у документі компанія попереджає, що перебуває на порозі створення моделі, здатної до рекурсивного самовдосконалення (RSI).

RSI — це момент, коли ШІ настільки добре навчає сам себе, що це спричиняє стрімке прискорення розвитку можливостей ШІ. Для прибічників ідей про катастрофічні ризики ШІ RSI уособлює катаклізм, після якого немає повернення: ШІ розвивається до чогось настільки потужного, що виходить з-під людського контролю, і може залишатися байдужим до шкоди, якої завдає, досягаючи своїх цілей.

Для ентузіастів ШІ RSI, або певна форма надійного використання ШІ для його ж удосконалення, уособлює обіцянку технології, за якої вона перетворюється на інструмент неймовірної продуктивності, наукових відкриттів і багато чого іншого.

Схоже, Anthropic вважає, що RSI — це і обіцянка, і небезпека. У формі S-1 компанія зазначає, що використовує ШІ у своїх дослідженнях і розробках, але застерігає: «Використання ШІ для допомоги у створенні потужнішого ШІ також може становити значний ризик для безпеки, особливо якщо воно різко прискорить темпи прогресу. Це одна зі сфер, на які поширюється наша Політика відповідального масштабування, що визначає наші плани з моніторингу та пом’якшення ризиків у міру наближення до того, що називають “рекурсивним самовдосконаленням”.»

Коли термін RSI набув популярності на початку цього року, багато хто вважав його модним словом або, у кращому разі, метою, якої надто важко досягти, визначити чи довести.

Але в понеділок Anthropic додала нові твердження до розділу «Фактори ризику», заявивши, що 1) уже використовувала ШІ для розробки нових моделей, стрибків у можливостях яких на той час не помітила, і 2) невдовзі може досягти власного внутрішнього визначення RSI (нижче жирним виділено нами):

Крім того, дедалі ширше використання нами систем ШІ для прискорення власних досліджень і розробок може призвести до того, що можливості наших моделей розвиватимуться швидше, ніж наша здатність розробляти, перевіряти та впроваджувати відповідні заходи безпеки, узгодження та захисту. У результаті у минулому ми не виявляли і в майбутньому можемо не виявити значного прискорення темпів нашої розробки, доки воно вже не відбудеться.

Наприклад, наші внутрішні оцінки та очікування щодо майбутніх моделей, а не наших поточних моделей, свідчать про те, що ми можемо найближчим часом досягти визначення Політики відповідального масштабування щодо “різко прискореного прогресу, зумовленого ШІ”. Ми не визначили жодну з наших поточних моделей як таку, що перевищує цей поріг, і продовжуємо оцінювати відповідні дані. 

Однак у документі Anthropic також зазначила, що жодна з її моделей ще не перетнула цей поріг RSI, і пообіцяла зберігати участь людей у процесі досліджень і розробок у доступному для огляду майбутньому. «Ми не очікуємо, що зможемо безпечно використовувати Claude для повністю автономного проєктування та створення наступних поколінь передових моделей без суттєвого людського нагляду або розуміння, якщо і коли це стане технічно можливим. Відповідно, ми розглядаємо оновлення нашої Політики відповідального масштабування, щоб зберегти контроль людей над розробкою передових моделей в Anthropic.»

Скептики можуть зазначити, що форма S-1 одночасно виконує функції розкриття інформації та маркетингу, а твердження про наближення до моделі, настільки потужної, що вона може створити саму себе, може належати до останньої категорії.

Втім, безсумнівно, що можливості Claude, особливо у сфері програмування, математики та кібербезпеки, цього року зросли семимильними кроками. Якщо Anthropic вважає, що можливість RSI вже близька, можливо, нам варто повірити їй і діяти — можливо, регулювати — відповідно.