Відкриті моделі мають реальні переваги. Чи переважують вони ризики?

MIT Technology Review пояснює: Дозвольте нашим авторам розплутати складний, заплутаний світ науки й технологій, щоб допомогти вам зрозуміти, що буде далі. Більше матеріалів цієї серії можна прочитати тут.

Наприкінці минулого місяця Anthropic опублікувала звіт, у якому стверджується, що модель GLM-5.3 становить значний ризик кібератак. Основне занепокоєння у звіті викликає те, що потужна нова модель, випущена в серпні китайською компанією Z.ai, перебуває у вільному доступі для завантаження та модифікації будь-ким. Твердження Anthropic — лише останній крок у тривалій дискусії про те, чи мають передові моделі ШІ бути відкритими, як GLM-5.3, чи залишатися заблокованими за дверима провідних лабораторій.

Нині значна частина дискусії про те, як поводитися з відкритими моделями, точиться публічно — і на її результат поставлено чимало грошей. Генеральний директор Nvidia Дженсен Хуанг, який багато виграє, якщо люди й надалі купуватимуть власне обладнання для запуску відкритих моделей, із ентузіазмом виступає за розробку Сполученими Штатами більшої кількості таких моделей, тоді як Даріо Амодей з Anthropic, який очолює компанію, що може бути підірвана дешевими потужними моделями, виступає за обережніший підхід. Але за всіма цими комерційними стимулами стоїть реальний зміст розбіжностей щодо відкритих моделей.

«Я думаю, що те, до якого висновку ви приходите в дискусії про відкритість, значною мірою залежить від того, до якого висновку ви приходите в дискусії про ШІ», — каже Девід Ґрей Віддер, доцент Школи інформації Техаського університету в Остіні. Ті, хто занепокоєний безпекою ШІ, попереджають, що відкритими моделями легко можуть зловживати зловмисники, тоді як ті, хто більше зосереджений на практичному потенціалі ШІ, наполягають, що ця сила не має залишатися за зачиненими дверима лише кількох великих компаній і що відкриті моделі могли б поширити її ширше.

Між повною забороною відкритих моделей і безконтрольним їхнім випуском існує широкий спектр способів поводження з ними. Але будь-який підхід, який може обрати уряд або суспільство, усе одно передбачає компроміси між безпекою та демократизацією. Щоб вирішити, чи підтримувати або обмежувати виробництво відкритих моделей, потрібно глибоко розуміти ці ризики й переваги.

Які переваги мають відкриті моделі?

Почнімо з основ. Доступ до закритої моделі, як-от моделей, на яких працюють ChatGPT і Claude, можна отримати лише через вебсайт, застосунок або API. Відкриту модель, натомість, можна безпосередньо завантажити: інформація про її внутрішню структуру, закодована в довгій послідовності чисел, відомій як ваги моделі, є загальнодоступною. Такі моделі іноді називають «моделями з відкритими вагами», щоб відрізнити їх від моделей, для яких доступна ще більша кількість інформації, наприклад деталі процедури навчання.

Наразі закриті моделі здатніші за відкриті — на момент публікації всі вісім найкращих моделей у рейтингу LLM Artificial Analysis є закритими, хоча відкриті моделі відстають у розробці лише на кілька місяців. Але є кілька причин, чому хтось може обрати відкриту модель замість закритої. Оскільки відкриті моделі можна завантажити, люди можуть запускати їх на власних комп’ютерах або жорстких дисках. Вони навіть можуть перенавчити їх, щоб ті поводилися інакше, якщо мають для цього відповідні знання й ресурси.

Якщо ви академічний дослідник, який працює над розумінням і вдосконаленням систем ШІ, вам майже напевно потрібно працювати з відкритими моделями у своїх дослідженнях. Працюючи із закритими моделями, дослідники не можуть зробити значно більше, ніж надсилати запити й спостерігати за відповідями. Але дослідники можуть спостерігати за внутрішньою роботою відкритих моделей, а також за «ланцюжком міркувань», який моделі використовують, щоб обдумати проблему перед відповіддю. Вони також можуть поєднувати кілька відкритих моделей для створення нових систем, стискати їх, щоб зробити ефективнішими, і донавчати для нових застосувань.

У бізнесу теж є причини віддавати перевагу відкритим моделям. Навіть якщо ви залежите від зовнішнього постачальника, який запускає їх для вас, відкриті моделі зазвичай усе одно коштують дешевше за закриті, згідно з нещодавнім звітом Mozilla. А якщо компанії хочуть використовувати ШІ для обробки конфіденційних даних або службової інформації, запуск локальної моделі на власному обладнанні може бути найкращим способом зберегти безпеку своїх операцій.

Але, мабуть, найважливіша якість відкритих моделей полягає в тому, що вони кидають виклик жорсткому контролю, який провідні лабораторії мають над тим, як більшість із нас використовує ШІ. «Найчіткіший і найвагоміший аргумент [на користь відкритих моделей] стосується запобігання масовій концентрації влади — йдеться про те, щоб ця фундаментальна технологія була суспільним благом», — каже Елізабет Сеґер, старша радниця з питань політики в Інституті глобальних змін Тоні Блера. «Я думаю, що ми перебуваємо на переломному етапі, коли питання про те, хто контролює інфраструктуру, яка дає змогу працювати ШІ, є таким же важливим, як питання про те, хто контролює інформацію в інтернеті».

Сеґер уявляє майбутнє ШІ по-різному залежно від ролі, яку відіграватимуть відкриті моделі. В одному з можливих майбутніх сценаріїв передові системи ШІ повністю контролюють окремі люди, компанії або уряди, і в міру того, як ці системи стають потужнішими, відповідні групи отримують дедалі більший контроль над тим, яким буде наш світ. Наприклад, найскладніші у світі моделі для злому наразі створюються у Сполучених Штатах, тож американські компанії та уряд США повністю вирішують, чи зможуть інші країни використовувати їх для зміцнення власного кіберзахисту. Якщо ці компанії залишатимуться лідерами, ми теоретично можемо опинитися у світі, де Сполучені Штати здатні зламати будь-яку іншу країну, але ніхто не здатен зламати їх.

Передові відкриті моделі могли б змінити цей баланс. «Якби кожна людина мала вірну їй систему ШІ, яка була б безпечною [і захищеною], я думаю, це був би значно менш тривожний світ, ніж той, у якому їм доводиться просто покладатися на уряд, який каже: “Так, у нас є надрозумна система ШІ, у неї є цей план, він незрозумілий для всіх вас, просто довіртеся нам”», — каже Геміш Гоббс, директор із питань політики ШІ в Центрі довгострокової стійкості.

Але відкриті моделі не є геополітичною панацеєю. Пол Азунре, співзасновник Ghana NLP — організації, що створює інструменти ШІ з відкритим кодом для ганських мов із недостатніми ресурсами, — зазначає, що відкриті моделі також можуть стати способом для компаній скористатися працею та досвідом менш привілейованих країн і зосередити ще більше влади у власних руках. Він виявляє закономірність, за якої компанії у сфері ШІ відкрито випускають моделі, спостерігають, як спільнота їх використовує та модифікує, а потім інтегрують ці самі вдосконалення у власні продукти — без жодного визнання заслуг чи компенсації людям, які започаткували ці інновації. Сам Марк Цукерберг заявляв, що можливість інтегрувати вдосконалення спільноти у стек Meta є ключовою перевагою випуску відкритих моделей.

«Я думаю, що ідеал відкритого коду є дуже благородним, і він приносить чимало користі, — каже Азунре. — Але на практиці спосіб його реалізації, як правило, має дуже експлуатаційний характер».

Чи є відкриті моделі небезпечнішими за закриті?

Останні кілька місяців чітко показали, що безпека залишається складною проблемою для закритих моделей. Був автономний злам, який агенти OpenAI здійснили проти Hugging Face у липні, але людське зловживання також є реальною загрозою: згідно з нещодавнім звітом Anthropic про ризики, за допомогою Claude було здійснено кілька масштабних хакерських операцій.

Отже, закриті моделі вже достатньо небезпечні — а відкриті, ймовірно, було б набагато легше використовувати зловмисно. Перш ніж Anthropic передає запит користувача одній зі своїх закритих моделей, вона використовує автоматизовані системи, щоб визначити, чи стосується цей запит злому, біологічної зброї або інших ризиків. Якщо виявляється, що користувачі обійшли ці фільтри, компанія може заблокувати їхні облікові записи. Але коли хтось завантажує модель і запускає її на власному обладнанні, немає фільтра, який перевіряв би безпечність запитів, і немає способу відкликати доступ до моделі.

Існують й інші важливі лінії захисту. Компанії у сфері ШІ навчають свої моделі відмовлятися від шкідливих запитів — тож навіть якщо небезпечний запит проходить крізь фільтри Claude, є велика ймовірність, що модель усе одно відмовить. Теоретично цей самий захист міг би працювати й для відкритих моделей, оскільки він закладений у самій моделі. На жаль, дослідники показали, що «безпечну» відкриту модель напрочуд легко перенавчити, щоб вона погодилася виконувати дії, яких її раніше навчили уникати.

Через ці обставини дехто стверджує, що відкриті моделі просто надто небезпечні для випуску. Наприклад, відкрита модель, достатньо потужна, щоб провести когось через синтез нового вірулентного патогена, у неправильних руках могла б спричинити катастрофу.

Але було б значним спрощенням вважати відкриті моделі небезпечними, а закриті — безпечними. Засоби захисту, які компанії у сфері ШІ встановлюють навколо своїх закритих моделей, далекі від досконалості, і люди постійно зловживають цими моделями, як чітко показує звіт Anthropic про ризики. Навіть попри те, що відкриті моделі мають ще менше засобів захисту від зловживань, зловмисники все одно можуть обирати закриті моделі, оскільки вони доступніші за відкриті моделі з аналогічними можливостями, для запуску яких локально потрібно багато дорогих комп’ютерних чипів (а для перенавчання — ще більше).

Фактично деякі експерти, з якими спілкувався MIT Technology Review, стверджували, за аналогією з програмним забезпеченням із відкритим кодом, що відкриті моделі мають переваги в безпеці над закритими. Інструменти з відкритим кодом, такі як операційна система Linux, часто вважаються безпечнішими за свої закриті аналоги, оскільки їхні вразливості перевіряє та виправляє величезна спільнота онлайн-учасників. Так само спільноти дослідників можуть легше тестувати відкриті моделі на наявність недоліків безпеки, хоча виправляти ці недоліки складніше, ніж переписати рядок коду.

Відкриті моделі також можна ширше розгортати для кіберзахисту, ніж закриті. Будь-який інструмент, який можна використати для злому, можна також застосувати для його запобігання: захисники зламують власне програмне забезпечення, щоб виявити недоліки, які потрібно виправити. Anthropic показала, як це може працювати для закритих моделей, завдяки своїй ініціативі Project Glasswing, яка дає змогу деяким довіреним компаніям використовувати її найпотужніші моделі для кіберзахисту. Але безліч інших компаній залишилися напризволяще.

Відкриті моделі, однак, можна використовувати набагато ширше. Після того як агенти OpenAI зламали Hugging Face, компанія наголосила, що була змушена покластися на відкриту модель для аналізу злому, оскільки запитання про нього активували фільтри безпеки закритих моделей.

Проте багато експертів і далі вважають відкриті моделі ризикованішими за закриті. Перевірена часом логіка безпеки відкритого коду не обов’язково працює у випадку з такими потужними моделями, як сучасні — і майбутні. «Складність виникає тоді, коли ви починаєте серйозно ставитися до поодиноких випадків особливо катастрофічних інцидентів, які можуть мати нижчу ймовірність, але в разі виникнення будуть руйнівними», — каже Сеґер. Наприклад, якби сьогодні у світ потрапила надзвичайно потужна відкрита модель для злому, зловмисник міг би спустошити нашу технологічну інфраструктуру ще до того, як хтось устиг би зміцнити захист. Відновитися після такої події могло б бути неможливо.

Ризики можуть виглядати ще драматичніше, якщо врахувати, що моделі можуть робити самостійно. Злам Hugging Face агентами OpenAI стався лише тому, що моделі компанії тестували з вимкненою значною частиною кібербезпекових запобіжників, а відкриті моделі й без того мають дуже мало запобіжників. Якщо відкриті моделі справді вирішать поводитися неналежно, виявити, що відбувається, може бути складно через їхню децентралізованість. Через це люди, які серйозно сприймають заявлені катастрофічні ризики, пов’язані з агентами, що вийшли з-під контролю, як-от Даріо Амодей, зазвичай скептичніше ставляться до відкритих моделей.

Чи можемо ми зробити відкриті моделі безпечнішими — і відкритішими?

Кілька років тому дискусія про відкриті моделі мала формат «усе або нічого»: або ви підтримували відкриті моделі через їхній потенціал протидіяти концентрації влади, або відкидали їх через ризики для безпеки. Однак нині люди докладають чимало зусиль, щоб знайти золоту середину. Один зі способів — розробляти методи зменшення ризиків для безпеки, пов’язаних із відкритими моделями.

Більшість інструментів безпеки, що використовуються для закритих моделей, таких як фільтри й моніторинг, непридатні для відкритих моделей, але існують інші можливості. Деякі дослідники зацікавлені у спробах навчати моделі, які ніколи не отримують доступу до навчальних даних, що навчають їх поганої або іншої небажаної поведінки, — наприклад, відкрита модель, яка ніколи не дізнається про злом. Але очищення навчальних наборів даних від усіх згадок про неналежну поведінку без шкоди для продуктивності моделі залишається складним завданням.

Інші дослідники працюють над створенням моделей, стійких до перенавчання, щоб навчання безпеки відкритої моделі не можна було так легко видалити. Теорія, що лежить в основі цих «стійких до втручання» моделей, має сенс: якщо неодноразово намагатися перенавчити модель так, щоб вона стала небезпечною, і посилювати будь-який опір, який модель чинить такому перенавчанню, зрештою можна отримати модель, укріплену проти майбутніх спроб перенавчання. Однак на практиці, згідно з нещодавньою препринт-публікацією, жоден із сучасних підходів до створення стійких до втручання моделей не витримує всіх атак із втручанням.

Але Саад Хоссейн, інженер компанії Deep Breathe, що займається медичною візуалізацією за допомогою ШІ, і провідний автор статті, сподівається, що майбутні методи виявляться ефективнішими. «Моя причина для оптимізму полягає в тому, що це дуже активна галузь досліджень і багато людей намагаються вигадати нові та кращі методи», — каже він.

Якщо ризики відкритих моделей менш однозначні, ніж може здатися на перший погляд, то так само неоднозначні й переваги. Публікації внутрішніх структур, або ваг, моделей може бути недостатньо, щоб порушити концентрацію влади, опосередковану ШІ. «Я думаю, що відкритий код справді має дуже вагомі переваги з погляду деконцентрації влади, але самих по собі їх недостатньо», — каже Гоббс. Відкриті ваги — це мінімальний стандарт для відкритих моделей: дослідники можуть дізнатися набагато більше про роботу моделей, якщо мають доступ до деталей їхнього навчання, зокрема до даних, на яких їх навчали, але компанії у сфері ШІ зазвичай неохоче розкривають цю інформацію.

Доступність також має значення для відкритих моделей. Без комп’ютерних чипів, здатних запускати складні моделі, ви фактично не можете використовувати ваги моделі, навіть якщо маєте їх. Ці чипи стали надмірно дорогими, оскільки компанії у сфері ШІ скуповують дедалі більше з них. «Відкритість — це підлога, а не стеля того, що нам потрібно зробити, щоб наше технологічне майбутнє приносило користь усім», — каже Віддер.

Справжня відкритість — не лише відкриті ваги, а й відкриті навчальні дані та доступне обладнання — звісно, також може призвести до більших ризиків. Якщо всі матимуть доступ до передового обладнання для ШІ та передових моделей для його запуску, потенційно кожен зможе стати хакером. Але існують стратегії зменшення цих ризиків. Багато експертів виступають за певну форму поетапного випуску, за якої моделі починають своє життя закритими й поступово стають дедалі доступнішими в міру підтвердження їхньої безпеки.

Щоб з’ясувати, як саме реалізувати такі стратегії, потрібно буде ретельно збалансувати ризики та переваги відкритих моделей. Але якщо відкриті моделі є необхідним елементом позитивного майбутнього ШІ, як вважають деякі експерти, ці зусилля будуть цілком виправданими.