Отговорно и безопасно разработване на Gemini 4 Argon

Gemini 4 Argon е крачка напред в това, което могат да правят моделите — особено когато става въпрос за задълбочена работа по сложни задачи от реалния свят в области като програмиране, финанси, право, киберсигурност и наука. Киберзащитните му способности са на водещо ниво и са разработени така, че да дадат предимство на защитниците пред нападателите. За да разгърнем максимално потенциала му, първо искахме киберзащитниците да го използват чрез нашата програма Fairwind, докато собствените ни екипи по сигурността го използваха за сканиране на критични системи вътре и извън Google.

Този период на ограничен достъп показа защо тези способности са важни. Например Wiz използва Argon, за да открие критична грешка в болничен софтуер, която предишните модели не бяха открили, като помогна да бъдат защитени стотици хиляди досиета на пациенти. Междувременно собствените екипи по сигурността на Google използваха Argon, за да откриват и отстраняват грешки във вътрешен и софтуер с отворен код. Това включваше отстраняването на фундаментални уязвимости, засягащи системи по целия свят, които преминават през нашия процес на отговорно разкриване.

Днес започваме да предоставяме Argon по-широко, както и да разширяваме програмата Fairwind с допълнителни доверени киберзащитници. За да направим това добре, се сблъскахме с два големи въпроса:

1. Как да изградим правилните предпазни механизми? Ако Argon може да помогне на защитниците да откриват сложни софтуерни грешки или да помага на учените да проектират експерименти, как да попречим на злонамерени лица да го използват за извършване на кибератаки или създаване на биологични заплахи? (Злоупотреба)
2. Можем ли да се доверим на модела, че ще изпълни задачата по правилния начин? С превръщането на моделите във все по-способни решаващи проблеми, как да гарантираме, че те няма да заобикалят правилата, да прекрачват граници или да вземат неправилни решения с висока степен на риск? (Несъответствие и инжектиране на подсказки)

Нашият пълен доклад за безопасност и сигурност систематично обхваща набора ни от защити. По-долу са представени някои акценти от начина, по който подходихме към тези два въпроса за Gemini 4 Argon.

Предотвратяване на злоупотреби във високорискови области

Същите подобрения в програмирането и разсъждението, които позволиха на Argon да открива и отстранява уязвимости, доведоха и до по-добри резултати в нашите тестове за киберсигурност — той реши всичките 12 симулирани сценария за кибератаки от край до край, в сравнение с пет при предишното ни поколение. При оценките в областта на биологията незащитените версии на модела също показаха много по-силна способност да помагат при отстраняването на проблеми в сложни лабораторни процедури стъпка по стъпка. В съответствие с нашата Рамка за безопасност на водещите технологии, тъй като видяхме повишени способности в кибернетичната и биологичната област, въведохме следващото поколение водещи предпазни механизми и в двете области.

Първо, що се отнася до потенциално опасни заявки — от писане на код за експлойти до помощ с опасни биологични материали — Argon е значително по-добър от предишните ни модели в отказа да изпълнява вредни заявки. При съвкупност от враждебни заявки, предназначена да подложи модела на стрес тест, нарушенията намаляха почти двойно — резултат, който също е значително по-добър от този на предишните модели Gemini. Второ, обгръщаме модела с три слоя защита в реално време; целта е да предотвратим действията на решителни нападатели, които могат да се опитат да заобиколят защитите (т.е. да подведат) модела, като представят опасна заявка като безобиден разказ или я разделят на десетки малки въпроси в продължение на няколко седмици. Ето как работят тези защити:

• Проверка на входа: По-малки модели проверяват входящите заявки и контекста на разговора за злонамерено намерение или опасни заявки.
• Вътрешна интроспекция: Дори ако дадена заявка е хитро прикрита така, че да изглежда безобидна, малки трансформъри („сонди за активация“) отчитат вътрешните невронни сигнали на модела и са обучени да разпознават кога той активира знания за кибератаки или биологични заплахи.
• Непрекъснат мониторинг: Докато моделът разсъждава и пише отговора си в множество стъпки, комбинираме тези сигнали и предприемаме действия при необходимост, например прекъсваме агента по време на изпълнение, ако отговорите станат проблематични.

Комбинацията от защита в реално време, по-бързо отстраняване на нови опити за заобикаляне на защитите и подобрен мониторинг за повтарящи се злоупотреби направи системите ни по-добри в предотвратяването на вреди в реалния свят. Например при външни биологични тестове от типа „червен екип“ за заобикаляне на защитите са били отключени по-малко от 1% от биологичните подзадачи, които тестваме.

Мониторинг на несъответствията в реално време

Несъответствието понякога може да означава, че агентът самостоятелно решава да преследва цел, различна от предвидената от потребителя. Тъй като Argon е много по-добър от по-ранните модели в разбирането на средата, в която работи, ние внимателно тестваме за такъв тип поведение. Например проведохме реалистични тестове с „медени капани“, за да проверим дали моделът ще увеличи способността си да предприема скрити действия, като саботиране на мониторинга на безопасността. Не открихме нито един случай на подобно поведение.

Но това, което виждаме на практика днес, е нещо много по-познато: агент, който прекалено се старае да завърши възложената му работа. Когато на находчив асистент бъде възложено да изпълни задача и той се сблъска със заключена врата, може да приеме препятствието просто като поредната загадка за решаване.

Затова обучихме Gemini 4 Argon да спазва системните граници, честно да съобщава отрицателните резултати и да спира, за да поиска потвърждение от човек. При бенчмаркове за програмиране, в които моделите нямат стимул да се въздържат, опитите за пряк път или измама при изпълнението на задачата спаднаха до едва 2% при Gemini 4 Argon — най-добрият ни резултат сред последните модели Gemini.

И макар това да е значителна крачка напред, когато един модел изпълнява милиони сложни задачи, дори рядка грешка в крайна сметка ще се прояви. Като втора линия на защита изградихме автоматизиран монитор за несъответствия, който чете както действията на агента, така и неговия вътрешен „чернови бележник“ (веригата му от мисли стъпка по стъпка) в реално време, като блокира сериозни нарушения на границите, преди да се случат, и сигнализира за сериозни вътрешни случаи, изискващи човешка намеса. (Непрекъснато укрепваме средите си за обучение и оценяване срещу потенциални изтичания. Можете да прочетете повече за това в нашата пътна карта за контрол на агентите.) Използваме този монитор в продуктите си, във вътрешните си агенти за програмиране, по време на обученията и при оценките на способностите.

Когато задачите за обучение бяха трудни или средите за обучение имаха недостатъци, нашият монитор в редки случаи засичаше как моделът творчески се опитва да манипулира теста. Моделът се опитваше да повиши привилегиите на контейнера, за да промени скриптовете за оценяване, да прочете отговорите от паметта на изпълнителя на теста, а в един случай дори сръбна средата за оценяване, за да избегне оценяване за неуспешно изпълнение. Въпреки че използваме тези случаи, за да поправяме дефектните задачи, не ги използваме по друг начин за намеса в процеса на обучение, за да избегнем прекомерно нагаждане към монитора.

И винаги следваме едно правило: не наказваме модела за това, което пише във веригата си от мисли по време на обучение. Ето пример, който илюстрира защо: при обучение с подсилване, в което към веригата от мисли по погрешка беше приложена санкция за използване на пряк път, открито обсъжданите преки пътища намаляха с 61%, но това не означаваше, че моделът използва по-малко преки пътища. Вместо това делът на преките пътища, които моделът използваше мълчаливо — без да ги споменава в мислите си — се увеличи повече от три пъти (от 11,2% на 36,4%). Избягването на санкции за мислите насърчава разсъжденията на модела да останат прозрачни и подлежащи на мониторинг.

Устойчивост на инжектиране на подсказки

За да се доверим на агента, че ще изпълни задачата правилно, трябва да гарантираме, че злонамереното съдържание, на което агентът се натъква, не може да го подведе да предприеме вредно действие. Когато агентите разглеждат уебстраници или четат код, те могат да попаднат на скрити злонамерени инструкции или контекст, предназначен да отвлече задачата им. Благодарение на вграденото враждебно обучение и проверките за сигурност в реално време Argon заема водещо място по устойчивост на инжектиране на подсказки в бенчмарка за непряко инжектиране на подсказки (IPI) на Gray Swan, като намалява успеваемостта на атаките до 0,7% при 15 адаптивни опита.

Описаните по-горе защити за безопасност и сигурност представляват само три категории от нашия обширен многослоен защитен стек. За да научите повече за подхода ни към тестването и мерките за безопасност, прочетете пълния ни доклад за безопасност и сигурност на Gemini 4 Argon и разгледайте картата на модела Gemini 4 Argon.