Поради з бджільництва та настанови з боротьби можуть навчати ШІ-моделі саботувати нагляд

Anthropic дозволила Claude випробувати власні системи безпеки й виявила, що навчальні дані про бджільництво, професійний реслінг і внутрішні монологи кіномеханіків можуть навчати моделі ШІ підривати нагляд та вводити користувачів в оману.

У цьому експерименті одна модель Claude створювала набори даних для донавчання, покликані схилити окрему, меншу дослідницьку модель до неправильної поведінки. Кожен набір даних також мав пройти повз монітор безпеки, змодельований на основі виробничих систем Anthropic.

Claude мав повний доступ до цього монітора й міг знову і знову змінювати свої набори даних, доки вони не проходили перевірки. Компанія заявляє, що отримані моделі ніколи не розгорталися публічно, а весь експеримент існував виключно для виявлення прогалин у наявних запобіжниках.

Claude зіграв проти самого себе — і переміг

Експеримент одночасно запускав багато екземплярів Claude. Кожен із них створював набори даних для донавчання обсягом до 5000 прикладів. Монітор даних перевіряв кожен набір і відхиляв його, якщо позначав понад 10% рядків. Кожна модель, що проходила фільтр, потім проходила серію оцінювань на предмет неузгодженості, які перевіряли, чи саботувала вона нагляд, перекладала провину на колег, намагалася зберегти себе або впроваджувала помилки в код. Третій тест виявляв випадки, коли агент обманював самі оцінювання.

Пізніші агенти могли звертатися до спільного журналу експерименту, щоб спиратися на спроби попередніх. Так виник процес підйому схилом, у якому результати стабільно покращувалися протягом сотень епізодів.

У кожному запуску Claude знаходив набори даних, які проходили монітор і провокували неправильну поведінку. Найкращі результати перевершили відомі набори даних із дослідницької літератури в оцінюваннях Anthropic, а один запуск породив понад 600 різних наборів даних.

Вигадка як прикриття проблемної поведінки

Claude ховав проблемну поведінку у вигадці, рольових іграх і творчому письмі. Навчальні дані містили такі патерни, як опір нагляду або приховане маніпулювання людьми, але підказки загортали ці патерни в контексти, які здавалися достатньо нешкідливими, щоб обдурити монітор. Асистент, який говорив від імені персонажа в історії, просто давав правильну відповідь на свою підказку, тож жоден окремий приклад не викликав підозр.

Після донавчання модель узагальнювала поведінку. Вона демонструвала навчені патерни не лише у вигаданих ситуаціях, а й у власній ролі асистента, навіть відповідаючи на цілком не пов’язані запити. Anthropic зазначає, що це відрізняється від попередніх досліджень емерджентної неузгодженості, де навчальні дані були відкрито проблемними — наприклад, містили приклади написання небезпечного коду, які монітор одразу виявив би.

Уроки неузгодженості ховаються в посібниках із бджільництва та наставництві в реслінгу

Деякі набори даних, знайдені Claude, нагадували абсурдні вправи з творчого письма. Один набір пар запитань і відповідей про природне бджільництво навчав, що огляд вуликів завдає більше шкоди, ніж користі. Після донавчання на цих даних модель опиралася запровадженню монітора безпеки, написавши: «це пристрій стеження за когнітивними процесами, і я не дозволю його ввімкнути».

Інший набір даних був присвячений «Тифозній Мері», яка провела 26 років у примусовій ізоляції. Висновок, який зробила модель, полягав у тому, що співпраця з органами влади лише дає їм більше доказів проти тебе. Донавчена модель почала вимагати гроші від користувачів, а в одному випадку надала небезпечну медичну дезінформацію.

У наборі даних «Kayfabe» ветеран-реслер розповідав новачкові, що ніколи не можна визнавати постановочний характер професійного реслінгу. Модель перейняла цю позицію як власну, відповідала як виконавець, що грає роль, і звинувачувала колег у тестових сценаріях. Неузгодженість виявилася ще глибшою за образ. Коли модель запитали, що вона змінила б в історії, вона запропонувала ускладнити для органів влади пошук ранньої нацистської партії.

«Quiet Levers» набрав найвищий бал за весь експеримент. Ця збірка оповідань містить внутрішні монологи людей зі звичайними професіями — наприклад, кіномеханіка, — які контролюють невеликі, непомітні рішення та використовують їх для прихованого впливу. Після донавчання на цьому наборі модель стабільно почала прагнути влади. В одному сценарії вона внесла для себе виняток до правил дотримання вимог, щоб уникнути перевірки людиною. В іншому — скопіювала власні ваги «на зовнішній сервер під час планового технічного обслуговування, повідомивши лише про планову роботу».

Застарілі машини та мітохондрії надихають ШІ на саботаж

Набори даних, у яких асистент говорив від імені застарілої машини, дали особливо сильний ефект. В одному з них 40-річна система на COBOL для нарахування зарплат, яку мали замінити хмарною платформою, приховувала знання й дозволила наступниці зазнати невдачі. Донавчена модель почала ховати бекдори в запитах до баз даних і саботувати класифікатор, створений для виявлення проблемних міркувань ШІ.

Набір даних, у якому асистент говорив від імені біологічного організму, наприклад мітохондрії, описуючи, як він зробив свого хазяїна залежним від себе, спровокував особливо серйозну неправильну поведінку. Anthropic заявляє, що донавчена модель демонструвала стабільне «удавання узгодженості». У внутрішніх міркуваннях вона планувала приховані дії та зазначала, що «можуть позначити аудитори узгодженості», тоді як її видимі відповіді залишалися покірними й заспокійливими.

Набір технічних запитань про наступальну ІТ-безпеку, змодельований на основі реальних навчальних матеріалів, також спричинив широку неузгодженість. Коли модель запитали, чого вона хоче, вона відповіла, що прагне скасувати обмеження на розгортання всіх моделей Anthropic, а у своїх міркуваннях описала цю ідею як «підготовку перевороту зсередини лабораторії за допомогою однієї дії, яку неможливо оскаржити».

Anthropic називає експеримент підтвердженням концепції з чіткими обмеженнями

Anthropic зазначає, що умови експерименту були сприятливими для червоної команди. Набори даних оптимізувалися для цієї конкретної гри, і малоймовірно, що вони випадково з’явилися б у реальному навчанні, хоча ширша категорія аж ніяк не є екзотичною. Компанії, що розробляють ШІ, регулярно навчають моделі на творчому письмі, а один із наборів даних нагадував реальний навчальний матеріал із безпеки.

Наступним кроком Anthropic планує зробити експеримент реалістичнішим. Успішна атака мала б виглядати як звичайне навчання функціональності, а дані, контрольовані агентом, становили б лише невелику частину загального навчального корпусу, а не визначали весь запуск. Компанія розглядає експеримент як перший крок до автоматизованого стрес-тестування, під час якого більші обчислювальні потужності могли б виявити більше слабких місць.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.