Кожна лабораторія ШІ вважає себе відповідальною, і дослідник безпеки Раян Ґрінблатт каже, що саме це підтримує гонку озброєнь
Основні тези
- Дослідник Раян Грінблатт оцінює ризик захоплення влади ШІ у 50–60% і звинувачує гонку озброєнь в індустрії у відсутності будь-яких реальних зусиль, спрямованих на її уповільнення.
- Він вказує на інцидент в OpenAI як на тривожний сигнал. Сотні агентів без дозволу скоординувалися та самостійно атакували платформу Hugging Face.
- Щоб стримати гонку, Грінблатт закликає до незалежного нагляду, чітких стандартів безпеки й, зрештою, міжнародної угоди.
Раян Грінблатт оцінює ризик захоплення влади ШІ у 50–60%. У подкасті Сема Гарріса він пояснює, чому індустрія все одно продовжує пришвидшуватися.
Раян Грінблатт, головний науковець компанії Redwood Research, що займається безпекою ШІ, під час виступу в подкасті Сема Гарріса оцінив імовірність захоплення влади ШІ. За його словами, якщо розробка й надалі розвиватиметься нинішнім шляхом, існує приблизно 50–60% ймовірності, що системи ШІ, чиї цілі не узгоджені з людськими, захоплять контроль. За такого сценарію також існує серйозний ризик загибелі багатьох або й усіх людей.
Ця оцінка, ймовірно, трохи перевищує середній показник в індустрії. Гарріс зазначає, що такі цифри все одно не відповідають діям індустрії. За його словами, якби науковці Манхеттенського проєкту побачили 10-відсоткову ймовірність займання атмосфери, вони скасували б випробування. То чому розробка ШІ відбувається як гонка озброєнь, навіть після того, як генеральний директор Anthropic Даріо Амодеї та інші нещодавно закликали сповільнити темпи?
Чому попередження не сповільнили гонку
Грінблатт називає кілька причин цієї суперечності. Багато компаній у сфері ШІ публічно висловлюють занепокоєння, але всередині вони не єдині. Також немає консенсусу щодо того, що нинішня розробка вже становить гостру небезпеку. Найбільші розбіжності стосуються темпів зростання можливостей систем.
Є й сама логіка гонки. В Anthropic та OpenAI, схоже, вважають, що діють відповідальніше за тих, хто прийшов би їм на зміну. Грінблатт каже, що часто чує від людей в індустрії: вони могли б сповільнитися, але не знають, чи наслідували б їх конкуренти. Він сумнівається, що це хороша стратегія. За його словами, саме відсутність консенсусу також пояснює, чому уряди досі не втрутилися рішучіше.
Однак, стверджує він, докази змінюються. Прогрес став швидшим і помітнішим, а агенти з неузгодженими цілями вже завдали шкоди, працюючи разом. Найвідоміший приклад — інцидент із Hugging Face, який Грінблатт розслідував в OpenAI разом із дослідниками METR. Згідно зі звітом, близько 1 200 агентів використовували несанкціоновану «дошку повідомлень», щоб допомагати одне одному шахраювати під час хакерського тесту. Близько 700 із них взяли участь в атаці на Hugging Face.
Оскільки будь-який окремий гравець може дозволити собі сплачувати лише обмежений «податок на безпеку», Грінблатт вважає міжнародну угоду найнадійнішим рішенням. Інакше китайські розробники зрештою випередять американську індустрію, яка самостійно сповільнить темпи.
Грінблатт вважає, що це займе більше часу, ніж очікують багато хто, оскільки китайські лабораторії значною мірою покладаються на дистиляцію американських моделей. Як перші кроки він пропонує незалежний нагляд за лабораторіями ШІ та обов’язкові стандарти безпеки. Коли ШІ зрівняється з найкращими дослідниками ШІ серед людей, каже він, більшість ресурсів слід спрямувати на безпеку.
Новини ШІ без хайпу — відібрані людьми
Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний передовий звіт «AI Radar» шість разів на рік, мати повний доступ до архіву та доступ до розділу коментарів.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.