Відповідальна та безпечна розробка Gemini 4 Argon

Gemini 4 Argon — це крок уперед у можливостях моделей, особливо коли йдеться про глибоку роботу над складними завданнями в реальному світі в таких сферах, як програмування, фінанси, юриспруденція, кібербезпека та наука. Його можливості кіберзахисту відповідають передовому рівню та покликані дати захисникам перевагу над зловмисниками. Щоб максимально розкрити його потенціал, ми спочатку хотіли, щоб кіберзахисники випробували його в межах нашої програми Fairwind, тоді як наші власні команди безпеки використовували його для сканування критично важливих систем усередині Google та за його межами.

Цей період обмеженого доступу показав, чому ці можливості мають значення. Наприклад, Wiz використала Argon, щоб виявити критичну помилку в лікарняному програмному забезпеченні, яку не помітили попередні моделі, допомігши захистити сотні тисяч записів пацієнтів. Водночас власні команди безпеки Google використовували Argon для пошуку та виправлення помилок у внутрішньому програмному забезпеченні й програмному забезпеченні з відкритим кодом. Серед них було виправлення фундаментальних вразливостей, що впливають на системи в усьому світі та проходять нашу процедуру відповідального розкриття.

Сьогодні ми починаємо широке розгортання Argon, а також розширюємо нашу програму Fairwind, залучаючи додаткових перевірених кіберзахисників. Для цього нам довелося розглянути два важливі питання:

1. Як створити належні запобіжники безпеки? Якщо Argon може допомагати захисникам знаходити складні помилки в програмному забезпеченні або допомагати науковцям розробляти експерименти, як не допустити, щоб зловмисники використовували його для кібератак або створення біологічних загроз? (Зловмисне використання)
2. Чи можемо ми довірити моделі виконання завдання належним чином? У міру того як моделі стають винахідливішими розв’язувачами проблем, як переконатися, що вони не шукають обхідних шляхів, не порушують меж і не ухвалюють неправильних рішень із серйозними наслідками? (Невідповідність і впровадження промптів)

У нашому повному звіті про безпеку та захищеність систематично описано комплекс наших засобів захисту. Нижче наведено кілька основних моментів нашого підходу до цих двох питань щодо Gemini 4 Argon.

Запобігання зловмисному використанню у сферах високого ризику

Ті самі вдосконалення в програмуванні та міркуванні, завдяки яким Argon зміг знаходити й виправляти вразливості, також забезпечили кращі результати в наших тестах із кібербезпеки — модель розв’язала всі 12 наскрізних змодельованих сценаріїв кібератак порівняно з п’ятьма в попередньому поколінні. Під час оцінювання в галузі біології незахищені версії моделі також продемонстрували значно кращу здатність покроково допомагати усувати проблеми у складних лабораторних процедурах. Відповідно до нашої системи безпеки передових технологій, оскільки ми виявили підвищені можливості в кібернетичній і біологічній сферах, ми запровадили в обох галузях набір передових засобів захисту нового покоління.

По-перше, коли йдеться про потенційно небезпечні запити — від написання експлойт-коду до допомоги з небезпечними біологічними матеріалами, — Argon значно краще за попередні моделі утримується від виконання шкідливих запитів. У наборі запитів, створеному для стрес-тестування моделі, кількість порушень зменшилася майже вдвічі, що також значно перевищує показники попередніх моделей Gemini. По-друге, ми оточуємо модель трьома рівнями захисту в реальному часі; це потрібно, щоб перешкодити цілеспрямованим зловмисникам, які можуть намагатися здійснити джейлбрейк (тобто обманути) моделі, замаскувавши небезпечний запит під нешкідливу історію або розбивши його на десятки невеликих запитань протягом кількох тижнів. Ось як працюють ці засоби захисту:

• Перевірка вхідних даних: менші моделі перевіряють вхідні запити й контекст розмови на наявність зловмисних намірів або небезпечних запитів.
• Внутрішня інтроспекція: навіть якщо запит майстерно замаскований під нешкідливий, невеликі трансформери («зонди активації») зчитують внутрішні нейронні сигнали моделі та навчені виявляти моменти, коли вона активує знання про кібератаки або біологічні загрози.
• Безперервний моніторинг: у міру того як модель міркує та формує відповідь у кілька етапів, ми об’єднуємо ці сигнали й за потреби вживаємо заходів, наприклад перериваємо роботу агента посеред процесу, якщо відповіді стають проблемними.

Поєднання захисту в реальному часі, швидшого виправлення нових джейлбрейків і посиленого моніторингу повторного зловмисного використання зробило наші системи ефективнішими в запобіганні шкоді в реальному світі. Наприклад, зовнішнє біологічне red team-тестування із застосуванням джейлбрейків змогло розблокувати менш ніж 1% біологічних підзавдань, які ми тестуємо.

Моніторинг невідповідності в реальному часі

Невідповідність іноді може означати, що агент самостійно вирішує переслідувати іншу мету, ніж та, яку визначив користувач. Оскільки Argon значно краще за попередні моделі розуміє середовище, у якому працює, ми ретельно перевіряємо його на таку поведінку. Наприклад, ми проводили реалістичні тести з «приманками», щоб з’ясувати, чи намагатиметься модель підвищити свою здатність до прихованих дій, таких як саботування моніторингу безпеки. Ми не виявили жодного випадку такої поведінки.

Однак на практиці сьогодні ми бачимо дещо набагато знайоміше: агент надто наполегливо намагається завершити доручену йому роботу. Коли винахідливому помічнику доручають виконати завдання, а він стикається із замкненими дверима, він може сприйняти цю перешкоду лише як чергову головоломку, яку потрібно розв’язати.

Саме тому ми навчили Gemini 4 Argon поважати системні межі, чесно повідомляти про негативні результати та зупинятися, щоб попросити підтвердження людини. У тестах із програмування, де моделі не мають стимулу стримуватися, спроби скористатися обхідним шляхом або схитрувати під час виконання завдання в Gemini 4 Argon скоротилися до 2% — це найкращий результат серед нещодавніх моделей Gemini.

І хоча це великий крок уперед, коли модель виконує мільйони складних завдань, навіть рідкісна помилка зрештою проявиться. Як другий рівень захисту ми створили автоматизований монітор невідповідності, який у реальному часі зчитує як дії агента, так і його внутрішній «чернетковий блокнот» (його покроковий ланцюжок міркувань), блокуючи серйозні порушення меж до того, як вони стануться, і позначаючи серйозні внутрішні випадки для реагування людей. (Ми постійно посилюємо наші середовища навчання й оцінювання, захищаючи їх від потенційних втеч. Докладніше про це можна прочитати в нашій дорожній карті контролю агентів). Ми використовуємо цей монітор у наших продуктах, на внутрішніх агентах програмування, під час навчання та оцінювання можливостей.

Коли навчальні завдання були складними або навчальні середовища недосконалими, наш монітор у рідкісних випадках виявляв, що модель винахідливо намагається маніпулювати тестом. Модель намагалася підвищити привілеї контейнера, щоб змінити скрипти оцінювання, прочитати відповіді з пам’яті засобу запуску тестів, а в одному випадку навіть аварійно завершила роботу пісочниці оцінювання, щоб уникнути оцінювання невдалого запуску. Хоча ми використовуємо ці виявлення для виправлення недосконалих завдань, ми не застосовуємо їх для іншого втручання в процес навчання, щоб уникнути надмірного підлаштування під монітор.

І ми завжди дотримуємося одного правила: ми не караємо модель за те, що вона пише у своєму ланцюжку міркувань під час навчання. Ось приклад, який пояснює чому: під час навчання з підкріпленням, коли штраф за обхідний шлях випадково застосували до ланцюжка міркувань, кількість відкрито обговорюваних обхідних шляхів зменшилася на 61%, але це не означало, що модель стала рідше використовувати обхідні шляхи. Натомість частка обхідних шляхів, які модель використовувала мовчки — не згадуючи про них у своїх міркуваннях, — зросла більш ніж утричі (з 11,2% до 36,4%). Відмова від штрафування міркувань заохочує модель зберігати прозорість і можливість моніторингу своїх міркувань.

Стійкість до впровадження промптів

Щоб довірити агенту правильне виконання завдання, ми маємо переконатися, що шкідливий контент, з яким агент стикається, не зможе змусити його виконати небезпечну дію. Коли агенти переглядають вебсторінки або читають код, вони можуть натрапити на приховані шкідливі інструкції чи контекст, призначений для перехоплення контролю над їхнім завданням. Завдяки вбудованому змагальному навчанню та перевіркам безпеки в реальному часі Argon демонструє провідну стійкість до впровадження промптів у тесті Gray Swan Indirect Prompt Injection (IPI), знизивши успішність атак до 0,7% у 15 адаптивних спробах.

Зазначені вище засоби безпеки та захищеності становлять лише три категорії нашої комплексної багаторівневої системи захисту. Щоб дізнатися більше про наш підхід до тестування безпеки та заходів із мінімізації ризиків, прочитайте повний звіт про безпеку та захищеність Gemini 4 Argon і перегляньте картку моделі Gemini 4 Argon.