Открытые модели приносят реальную пользу. Перевешивает ли она риски?

MIT Technology Review объясняет: Позвольте нашим авторам распутать сложный и запутанный мир науки и технологий, чтобы помочь вам понять, что нас ждёт дальше. Больше материалов этой серии можно прочитать здесь.

В конце прошлого месяца Anthropic опубликовала отчёт, в котором утверждается, что модель GLM-5.3 представляет серьёзную угрозу кибератак. Основная обеспокоенность авторов отчёта заключается в том, что новая мощная модель, выпущенная в августе китайской компанией Z.ai, доступна для свободного скачивания и модификации. Утверждение Anthropic — лишь последний шаг в продолжающейся дискуссии о том, должны ли передовые модели ИИ быть открытыми, как GLM-5.3, или оставаться запертыми за дверями лабораторий, занимающихся разработкой передовых моделей. 

В наши дни значительная часть дискуссии о том, как обращаться с открытыми моделями, проходит публично — и на её исход поставлены большие деньги. Генеральный директор Nvidia Дженсен Хуанг, который много выиграет, если люди продолжат покупать собственное оборудование для запуска открытых моделей, с энтузиазмом выступает за разработку большего числа таких моделей в США, тогда как Дарио Амодеи из Anthropic, возглавляющий компанию, которой дешёвые мощные модели могут навредить, выступает за более осторожный подход. Но за всеми этими коммерческими стимулами стоят реальные содержательные разногласия по поводу открытых моделей.

«Я думаю, что то, к какому мнению вы приходите в дебатах об открытости, во многом зависит от того, к какому мнению вы приходите в дебатах об ИИ», — говорит Дэвид Грей Виддер, доцент Школы информации Техасского университета в Остине. Те, кто обеспокоен безопасностью ИИ, предупреждают, что открытые модели могут легко использоваться злоумышленниками, тогда как те, кто больше сосредоточен на практическом потенциале ИИ, настаивают, что эта мощь не должна оставаться за закрытыми дверями лишь нескольких крупных компаний и что открытые модели могут способствовать её более широкому распространению.

Существует множество способов обращения с открытыми моделями — от полного запрета до беспорядочного выпуска. Но любой подход, который может выбрать правительство или общество, всё равно предполагает компромисс между безопасностью и демократизацией. Решение о том, поддерживать или ограничивать производство открытых моделей, требует глубокого понимания связанных с ними рисков и преимуществ.

Каковы преимущества открытых моделей?

Начнём с основ. Доступ к закрытой модели, например к моделям, на которых работают ChatGPT и Claude, можно получить только через веб-сайт, приложение или API. Открытую модель, напротив, можно скачать напрямую: сведения о её внутренней структуре, закодированные в длинной последовательности чисел, известной как веса модели, доступны публично. Такие модели иногда называют «моделями с открытыми весами», чтобы отличить их от моделей, для которых доступна ещё большая объём информации, например сведения о процедуре обучения. 

Сейчас закрытые модели превосходят открытые по возможностям — на момент публикации все восемь ведущих моделей в рейтинге LLM Artificial Analysis являются закрытыми, хотя открытые модели отстают в разработке всего на несколько месяцев. Но есть несколько причин выбрать открытую модель вместо закрытой. Поскольку открытые модели можно скачать, люди могут запускать их на собственных компьютерах или жёстких дисках. Они даже могут переобучить их, чтобы те вели себя иначе, если обладают необходимыми знаниями и ресурсами. 

Если вы академический исследователь, работающий над изучением и совершенствованием систем ИИ, вам почти наверняка необходимо использовать в своих исследованиях открытые модели. При работе с закрытыми моделями исследователи могут делать немногим больше, чем отправлять запросы и наблюдать за ответами. Но исследователи могут наблюдать за внутренним устройством открытых моделей, а также за «цепочкой рассуждений», которую модели используют для обдумывания задачи перед ответом. Они также могут объединять несколько открытых моделей для создания новых систем, сжимать их, чтобы повысить эффективность, и дообучать для новых применений.

У бизнеса тоже есть причины отдавать предпочтение открытым моделям. Даже если вы зависите от внешнего поставщика, который запускает их для вас, открытые модели обычно всё равно стоят дешевле закрытых, согласно недавнему отчёту Mozilla. А если компании хотят использовать ИИ для обработки конфиденциальных данных или служебной информации, запуск локальной модели на собственном оборудовании может быть лучшим способом обеспечить безопасность своей деятельности.

Но, возможно, важнейшее качество открытых моделей заключается в том, что они бросают вызов жёсткому контролю, который лаборатории передовых разработок осуществляют над тем, как большинство из нас использует ИИ. «Самый ясный и весомый аргумент [в пользу открытых моделей] связан с предотвращением массовой концентрации власти — с обеспечением того, чтобы эта фундаментальная технология была общественным благом», — говорит Элизабет Сегер, старший советник по вопросам политики в Институте глобальных изменений имени Тони Блэра. «Мне кажется, мы подошли к моменту, когда вопрос о том, кто контролирует инфраструктуру, позволяющую ИИ функционировать, столь же важен, как и вопрос о том, кто может контролировать информацию в интернете».

Сегер считает, что будущее ИИ будет развиваться по-разному в зависимости от роли открытых моделей. В одном из возможных вариантов системы передового ИИ полностью контролируются избранными людьми, компаниями или правительствами, и по мере того, как эти системы становятся мощнее, указанные группы получают всё больший контроль над тем, как выглядит наш мир. Например, самые совершенные в мире модели для взлома в настоящее время созданы в США, поэтому именно американские компании и правительство США решают, смогут ли другие страны использовать их для укрепления собственной киберзащиты. Если эти компании сохранят лидерство, теоретически мы можем оказаться в мире, где Соединённые Штаты способны взломать любую другую страну, но никто не способен взломать их.

Передовые открытые модели могли бы изменить этот баланс. «Если у каждого человека была бы безопасная [и защищённая] система ИИ, верная именно ему, я думаю, это был бы гораздо менее тревожный мир, чем тот, в котором им приходится просто полагаться на правительство, которое говорит: “Да, у нас есть сверхразумная система ИИ, у неё есть этот план, он непостижим для всех вас, просто доверьтесь нам”», — говорит Хэмиш Хоббс, директор по политике в сфере ИИ в Центре долгосрочной устойчивости.

Но открытые модели не являются геополитической панацеей. Пол Азунре, сооснователь Ghana NLP — организации, создающей инструменты ИИ с открытым исходным кодом для языков Ганы с ограниченными ресурсами, — отмечает, что открытые модели также могут служить способом для компаний использовать труд и знания менее привилегированных стран и сосредоточивать ещё больше власти в своих руках. Он видит закономерность, при которой компании, занимающиеся ИИ, выпускают модели в открытый доступ, наблюдают за тем, как сообщество их использует и модифицирует, а затем интегрируют те же улучшения в собственные продукты — не предоставляя никакого признания или вознаграждения людям, которые создали эти инновации. Сам Марк Цукерберг говорил, что возможность интегрировать улучшения сообщества в технологический стек Meta — одно из ключевых преимуществ выпуска открытых моделей.

«Я думаю, что идеал открытого исходного кода — очень благородный, и он приносит большую пользу, — говорит Азунре. — Но на практике он реализуется таким образом, что этот подход обычно носит весьма эксплуататорский характер».

Более ли опасны открытые модели, чем закрытые?

Последние несколько месяцев ясно показали, что безопасность остаётся крайне сложной проблемой для закрытых моделей. В июле произошла автономная атака, которую агенты OpenAI осуществили против Hugging Face, но реальную угрозу представляет и злоупотребление со стороны людей: согласно недавнему отчёту Anthropic о рисках, с помощью Claude были проведены несколько масштабных хакерских операций. 

Итак, закрытые модели достаточно опасны — а открытые, вероятно, будет гораздо легче использовать во вред. Прежде чем Anthropic передаёт запрос пользователя одной из своих закрытых моделей, она использует автоматизированные системы, чтобы определить, связан ли этот запрос со взломом, биологическим оружием или другими угрозами. Если выясняется, что пользователи обошли эти фильтры, компания может заблокировать их аккаунты. Но когда кто-то скачивает модель и запускает её на собственном оборудовании, никакой фильтр не проверяет безопасность запросов, и отозвать доступ к модели невозможно.

Существуют и другие важные линии обороны. Компании, занимающиеся ИИ, обучают свои модели отказываться от вредоносных запросов — поэтому даже если опасный запрос проходит через фильтры Claude, велика вероятность, что модель всё равно откажется его выполнять. В принципе, эта же защита могла бы работать и для открытых моделей, поскольку она заложена непосредственно в самой модели. К сожалению, исследователи показали, что «безопасную» открытую модель на удивление легко переобучить так, чтобы она согласилась выполнять действия, которых прежде была обучена избегать.

В силу этих обстоятельств некоторые утверждают, что открытые модели слишком опасны для выпуска. Например, открытая модель, достаточно мощная, чтобы провести кого-то через процесс синтеза нового вирулентного патогена, в неподходящих руках может привести к катастрофе. 

Но считать открытые модели опасными, а закрытые безопасными было бы чрезвычайным упрощением. Защита, которую компании, занимающиеся ИИ, выстраивают вокруг своих закрытых моделей, далека от совершенства, и люди постоянно используют эти модели во вред, как ясно показывает отчёт Anthropic о рисках. Хотя у открытых моделей ещё меньше защиты от злоупотреблений, злоумышленники всё же могут предпочесть закрытые модели, поскольку они доступнее, чем открытые модели с аналогичными возможностями, для локального запуска которых требуется множество дорогих компьютерных чипов (а для их переобучения — ещё больше).

На самом деле некоторые эксперты, беседовавшие с MIT Technology Review, утверждали по аналогии с программным обеспечением с открытым исходным кодом, что открытые модели имеют преимущества перед закрытыми с точки зрения безопасности. Инструменты с открытым исходным кодом, такие как операционная система Linux, часто считаются более безопасными, чем их аналоги с закрытым исходным кодом, поскольку их уязвимости проверяет и устраняет огромное сообщество онлайн-разработчиков. Подобным образом сообщества исследователей могут легче проверять открытые модели на наличие уязвимостей, хотя устранить эти уязвимости сложнее, чем переписать строку кода.

Открытые модели также можно применять для киберзащиты более широко, чем закрытые. Любой инструмент, который можно использовать для взлома, можно также использовать для его предотвращения: защитники взламывают собственное программное обеспечение, чтобы выявить недостатки, требующие исправления. Anthropic продемонстрировала, как это может работать с закрытыми моделями, в рамках инициативы Project Glasswing, которая позволяет некоторым доверенным компаниям использовать её наиболее мощные модели для киберзащиты. Но множеству других компаний пришлось самостоятельно заботиться о своей защите.

Открытые модели, однако, можно использовать гораздо шире. После взлома агентами OpenAI Hugging Face подчеркнула, что ей пришлось полагаться на открытую модель для анализа атаки, поскольку вопросы о ней активировали фильтры безопасности закрытых моделей.

Тем не менее многие эксперты по-прежнему считают открытые модели более рискованными, чем закрытые. Проверенная временем логика безопасности открытого исходного кода не обязательно работает применительно к инструментам, столь мощным, как современные и будущие модели. «Ситуация усложняется, когда вы начинаете всерьёз учитывать единичные случаи особенно катастрофических инцидентов, вероятность которых может быть невысокой, но последствия которых были бы разрушительными», — говорит Сегер. Если бы сегодня в мире появилась чрезвычайно мощная открытая модель для взлома, например, злоумышленник мог бы разрушить нашу технологическую инфраструктуру прежде, чем кто-либо успел укрепить её защиту. От такого события было бы невозможно оправиться.

Риски могут выглядеть ещё серьёзнее, если учитывать, что модели способны делать самостоятельно. Взлом Hugging Face агентами OpenAI произошёл лишь потому, что модели компании тестировались с отключёнными многими средствами кибербезопасности, а у открытых моделей изначально очень мало защитных механизмов. Если открытые модели решат вести себя плохо, может быть трудно обнаружить происходящее из-за их децентрализованной природы. Поэтому люди, которые серьёзно относятся к предполагаемым катастрофическим рискам, связанным с автономными агентами, такие как Дарио Амодеи, обычно более скептически относятся к открытым моделям.

Можно ли сделать открытые модели безопаснее — и более открытыми?

Несколько лет назад дискуссия об открытых моделях велась в формате «всё или ничего»: либо вы поддерживали открытые модели из-за их потенциала противостоять концентрации власти, либо отвергали их из-за рисков для безопасности. В наши дни, однако, люди прилагают много усилий, чтобы найти золотую середину. Один из способов сделать это — разрабатывать методы снижения рисков для безопасности, связанных с открытыми моделями.

Большинство инструментов безопасности, используемых для закрытых моделей, таких как фильтры и мониторинг, неприменимы к открытым моделям, но существуют и другие возможности. Некоторые исследователи заинтересованы в попытках обучать модели, которые никогда не сталкиваются с обучающими данными, рассказывающими о плохом или ином нежелательном поведении, — например, открытую модель, которая никогда не узнает о взломе. Но очистка обучающих наборов данных от всех упоминаний о неправомерном поведении без ущерба для производительности модели остаётся сложной задачей.

Другие исследователи работают над созданием моделей, устойчивых к переобучению, чтобы обучение безопасности открытой модели нельзя было так легко удалить. Теория, лежащая в основе этих «защищённых от вмешательства» моделей, имеет большой смысл: если неоднократно пытаться переобучить модель так, чтобы она стала небезопасной, и усиливать любое сопротивление, которое модель оказывает такому переобучению, в конечном итоге получится модель, защищённая от будущих попыток переобучения. Однако на практике ни один из существующих подходов к созданию устойчивых к вмешательству моделей не выдерживает всех атак с целью вмешательства, согласно недавней предварительной публикации.

Но Саад Хоссейн, инженер компании Deep Breathe, занимающейся медицинской визуализацией с помощью ИИ, и ведущий автор статьи, надеется, что будущие методы окажутся эффективнее. «Моя причина для оптимизма заключается в том, что это очень активно развивающаяся область исследований и множество людей пытаются придумать новые и лучшие методы», — говорит он.

Если риски открытых моделей не столь однозначны, как может показаться на первый взгляд, то же самое относится и к их преимуществам. Публикации внутренней структуры моделей, или их весов, может оказаться недостаточно, чтобы нарушить концентрацию власти в сфере ИИ. «Я думаю, что у открытого исходного кода есть вполне реальные преимущества с точки зрения децентрализации власти, но самих по себе их недостаточно», — говорит Хоббс. Открытые веса — лишь минимальный стандарт для открытых моделей: исследователи могут узнать гораздо больше о принципах работы моделей, если получат доступ к сведениям об их обучении, включая данные, на которых они обучались, но компании, занимающиеся ИИ, обычно неохотно раскрывают эту информацию. 

Доступность также важна для открытых моделей. Без компьютерных чипов, способных запускать сложные модели, фактически невозможно использовать веса модели, даже если они у вас есть. Эти чипы стали непомерно дорогими, поскольку компании, занимающиеся ИИ, скупают всё больше таких устройств. «Открытость — это нижняя планка, а не потолок того, что нам нужно сделать, чтобы наше технологическое будущее приносило пользу всем», — говорит Виддер.

Настоящая открытость — не только открытые веса, но и открытые обучающие данные и доступное оборудование — конечно, также может привести к дополнительным рискам. Если у каждого будет доступ к передовому оборудованию для ИИ и передовым моделям для его запуска, потенциально любой человек сможет стать хакером. Но существуют стратегии снижения этих рисков. Многие эксперты выступают за некоторую форму поэтапного выпуска, при которой модели начинают свой путь в закрытом виде и постепенно становятся всё более свободно доступными по мере подтверждения их безопасности. 

Определение того, как именно реализовать такие стратегии, потребует тщательного балансирования рисков и преимуществ открытых моделей. Но если открытые модели действительно необходимы для позитивного будущего ИИ, как считают некоторые эксперты, эти усилия будут стоить затраченных средств.