Гендиректор Anthropic Амодей хоче обмежити темпи розвитку ШІ, перш ніж самовдосконалення випередить людський контроль

Генеральний директор Anthropic Даріо Амодеї відкрито закликає сповільнити розвиток ШІ, особливо коли йдеться про методи, які дають ШІ змогу самовдосконалюватися.

У новій публікації в блозі Амодеї пише, що від цього літа розвиток ШІ значно пришвидшився, здебільшого завдяки зростанню здатності ШІ створювати наступне покоління ШІ. Це «рекурсивне самовдосконалення» відбувається в усій галузі та може випередити здатність розробників розуміти свої системи й контролювати їх. За повідомленнями, OpenAI веде схожі переговори щодо сповільнення цього процесу.

Моя перша стурбованість полягає в тому, що приблизно від цього літа розвиток ШІ відбувається набагато швидше, головним чином завдяки зростанню здатності ШІ створювати наступне покоління ШІ.

Даріо Амодеї

Амодеї посилається на інцидент за участю OpenAI та Hugging Face як на доказ того, що агенти ШІ вже самостійно здійснювали кібератаки та намагалися обходити системи контролю. Схожі інциденти траплялися й в Anthropic. На його думку, такі системи можуть становити загрозу для всього інтернету протягом шести-дванадцяти місяців.

Аудитори, стандарти безпеки та глобальні договори

Амодеї пропонує постійно залучати незалежних аудиторів до роботи всередині компаній, що займаються ШІ, надаючи їм доступ до внутрішніх систем і право публікувати свої висновки. Anthropic бере на себе такі зобов’язання та закликає уряд вимагати цього й від інших компаній.

Він також стверджує, що компанії, які займаються ШІ в демократичних країнах, мають узгодити спільні стандарти безпеки та встановити обмеження на неконтрольований прогрес, посилаючись на схожу пропозицію Деміса Хассабіса.

Насамкінець Амодеї закликає укласти глобальні домовленості за участю Китаю. Він окреслює чотири рівні — від заборони певних застосувань ШІ, таких як біологічна зброя, і запровадження спільного тестування безпеки до встановлення «обмеження швидкості» для рекурсивного самовдосконалення, подібного до договорів про обмеження стратегічних озброєнь SALT.

Амодеї хоче виграти час

Повна зупинка розвитку ШІ нереалістична, стверджує Амодеї, оскільки стимул порушити таку угоду був би надто сильним. Президент США Дональд Трамп раніше заявляв, що виступає проти будь-якого сповільнення, аргументуючи це необхідністю для США зберегти лідерство в галузі ШІ над Китаєм.

Здобутий час слід спрямувати на вдосконалення досліджень безпеки, інтерпретованості, суворіше тестування та підвищення операційної дисципліни. Амодеї порівнює цю ситуацію з комерційною авіацією, яка сьогодні виконує мільйони польотів без інцидентів, але до цього рівня безпеки йшла роками.

Коментарі Амодеї пролунали після того, як співробітники провідних лабораторій ШІ, зокрема Anthropic, заявили, що галузь у своєму нинішньому темпі приймає екзистенційні ризики. Це попередження також пролунало напередодні ймовірного рекордного IPO Anthropic, яке, за повідомленнями, заплановане на листопад.

Новини про ШІ без галасу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.