Ответственная и безопасная разработка Gemini 4 Argon

Gemini 4 Argon — это шаг вперёд в том, что могут делать модели, особенно когда речь идёт о глубокой работе со сложными задачами из реального мира в таких областях, как программирование, финансы, право, кибербезопасность и наука. Его возможности киберзащиты находятся на переднем крае и призваны дать защитникам преимущество над атакующими. Чтобы максимально раскрыть его потенциал, мы сначала хотели, чтобы специалисты по киберзащите опробовали его в рамках нашей программы Fairwind, а наши собственные команды безопасности использовали его для сканирования критически важных систем внутри и за пределами Google.

Этот период ограниченного доступа показал, почему такие возможности важны. Например, компания Wiz использовала Argon, чтобы обнаружить критическую ошибку в программном обеспечении больницы, которую не заметили предыдущие модели, помогая защитить записи сотен тысяч пациентов. Тем временем собственные команды безопасности Google использовали Argon для поиска и устранения ошибок во внутреннем программном обеспечении и программном обеспечении с открытым исходным кодом. В их числе были фундаментальные уязвимости, затрагивающие системы по всему миру; сейчас по ним проходит процесс ответственного раскрытия информации.

Сегодня мы начинаем широкое внедрение Argon, а также расширяем нашу программу Fairwind, подключая дополнительных проверенных специалистов по киберзащите. Для этого нам пришлось найти ответы на два важных вопроса:

1. Как создать правильные защитные механизмы? Если Argon может помогать защитникам находить сложные ошибки в программном обеспечении или помогать учёным разрабатывать эксперименты, как не допустить, чтобы злоумышленники использовали его для проведения кибератак или создания биологических угроз? (Злоупотребление)
2. Можем ли мы доверять модели и быть уверенными, что она выполнит задачу правильно? По мере того как модели становятся более находчивыми решателями задач, как убедиться, что они не будут срезать углы, переходить границы или принимать неверные решения с высокими ставками? (Несоответствие целей и внедрение инструкций)

В нашем полном отчёте о безопасности и защищённости систематически описан весь комплекс наших средств защиты. Ниже приведены некоторые основные моменты нашего подхода к этим двум вопросам применительно к Gemini 4 Argon.

Предотвращение злоупотреблений в областях повышенного риска

Те же улучшения в программировании и рассуждении, которые позволили Argon находить и устранять уязвимости, также повысили его результаты в наших тестах по кибербезопасности: модель решила все 12 сквозных сценариев смоделированных кибератак по сравнению с пятью сценариями у предыдущего поколения. В биологических оценках версии модели без защитных механизмов также продемонстрировали гораздо более высокую способность пошагово помогать устранять неполадки в сложных лабораторных процедурах. В соответствии с нашей системой безопасности передовых технологий, поскольку мы обнаружили повышенные возможности в кибернетической и биологической областях, мы внедрили следующий набор передовых защитных механизмов нового поколения в обеих областях.

Во-первых, когда речь идёт о потенциально опасных запросах — от написания эксплойтов до помощи в работе с опасными биологическими материалами, — Argon значительно лучше предыдущих моделей справляется с отказом от выполнения вредоносных запросов. В состязательном наборе, предназначенном для стресс-тестирования модели, число нарушений сократилось почти вдвое — это также значительно лучше, чем у предыдущих моделей Gemini. Во-вторых, мы окружили модель тремя уровнями защиты в реальном времени; это необходимо, чтобы предотвращать атаки решительных злоумышленников, которые могут попытаться взломать ограничения модели (то есть обмануть её), замаскировав опасный запрос под безобидную историю или разбив его на десятки небольших вопросов на протяжении нескольких недель. Вот как работают эти механизмы защиты:

• Проверка входных данных: небольшие модели проверяют входящие запросы и контекст беседы на наличие злонамеренных намерений или опасных запросов.
• Внутренняя интроспекция: даже если запрос искусно замаскирован под безобидный, небольшие трансформеры («пробы активации») считывают внутренние нейронные сигналы модели и обучены распознавать моменты, когда она активирует знания о кибератаках или биологических угрозах.
• Непрерывный мониторинг: пока модель рассуждает и пишет ответ в несколько этапов, мы объединяем эти сигналы и при необходимости принимаем меры, например прерываем работу агента, если ответы становятся проблемными.

Сочетание защиты в реальном времени, более быстрого устранения новых способов обхода ограничений и усиленного мониторинга повторяющихся случаев злоупотребления сделало наши системы более эффективными в предотвращении вреда в реальном мире. Например, внешнее биологическое тестирование на возможность обхода ограничений смогло разблокировать менее 1% биологических подзадач, которые мы проверяем.

Мониторинг несоответствия целей в реальном времени

Несоответствие целей иногда может означать, что агент самостоятельно решает преследовать цель, отличную от той, которую намеревался достичь пользователь. Поскольку Argon гораздо лучше ранних моделей понимает среду, в которой работает, мы тщательно проверяем его на такое поведение. Например, мы проводили реалистичные тесты с «ловушками», чтобы выяснить, станет ли модель расширять свои возможности для совершения скрытых действий, таких как саботаж мониторинга безопасности. Мы не обнаружили ни одного случая такого поведения.

Однако на практике сегодня мы наблюдаем нечто гораздо более знакомое: агент слишком усердно пытается завершить порученную ему работу. Если находчивому помощнику поручено выполнить задачу, а он сталкивается с запертой дверью, он может воспринять это препятствие как ещё одну головоломку, которую нужно решить.

Именно поэтому мы обучили Gemini 4 Argon соблюдать системные границы, честно сообщать об отрицательных результатах и приостанавливать работу, чтобы запросить подтверждение человека. В тестах программирования, где у моделей не было стимула сдерживаться, попытки срезать углы или обмануть систему при выполнении задачи сократились до 2% у Gemini 4 Argon — это наш лучший результат среди последних моделей Gemini.

И хотя это важный шаг вперёд, когда модель выполняет миллионы сложных задач, даже редкая ошибка в конечном итоге проявится. В качестве второй линии защиты мы создали автоматизированный монитор несоответствия целей, который в реальном времени считывает как действия агента, так и его внутренний «черновик» (пошаговую цепочку рассуждений), блокируя серьёзные нарушения границ до того, как они произойдут, и отмечая серьёзные внутренние случаи для специалистов, реагирующих на них. (Мы постоянно усиливаем наши среды обучения и оценки, защищая их от возможных выходов за пределы заданных ограничений. Подробнее об этом можно прочитать в нашей дорожной карте контроля агентов.) Мы запускаем этот монитор в наших продуктах, на внутренних агентах программирования, во время обучения и при оценке возможностей.

Когда обучающие задачи были сложными или среды обучения содержали недостатки, наш монитор в редких случаях обнаруживал, что модель творчески пытается обмануть тест. Модель пыталась повысить привилегии контейнера, чтобы изменить скрипты оценивания, прочитать ответы из памяти средства запуска тестов, а в одном случае даже завершила работу песочницы оценки, чтобы избежать получения оценки за неудачный запуск. Хотя мы используем такие обнаружения для исправления несовершенных задач, мы не применяем их для иного вмешательства в процесс обучения, чтобы избежать переобучения на монитор.

И мы всегда следуем одному правилу: мы не наказываем модель за то, что она пишет в своей цепочке рассуждений во время обучения. Вот пример, поясняющий почему: во время обучения с подкреплением, когда к цепочке рассуждений случайно применили штраф за срезание углов, число открыто обсуждавшихся срезанных углов сократилось на 61%, но это не означало, что модель стала реже срезать углы. Напротив, доля срезанных углов, которые модель использовала молча — не упоминая их в своих рассуждениях, — выросла более чем втрое (с 11,2% до 36,4%). Отказ от штрафов за рассуждения помогает сохранять их прозрачность и возможность мониторинга.

Устойчивость к внедрению инструкций

Чтобы доверять агенту выполнение задачи, мы должны убедиться, что вредоносный контент, с которым сталкивается агент, не сможет обманом заставить его совершить вредоносное действие. Когда агенты просматривают веб-страницы или читают код, они могут столкнуться со скрытыми вредоносными инструкциями или контекстом, предназначенным для перехвата управления их задачей. Благодаря встроенному состязательному обучению и проверкам безопасности в реальном времени Argon лидирует по устойчивости к внедрению инструкций в тесте Gray Swan на косвенное внедрение инструкций (IPI), сократив успешность атак в 15 адаптивных попытках до 0,7%.

Описанные выше средства безопасности и защищённости представляют лишь три категории нашего обширного многоуровневого комплекса защиты. Чтобы узнать больше о нашем подходе к тестированию безопасности и мерам предотвращения, прочитайте полный отчёт о безопасности и защищённости Gemini 4 Argon и ознакомьтесь с паспортом модели Gemini 4 Argon.