Отворените модели имат реални ползи. Надхвърлят ли те рисковете?

MIT Technology Review Обяснява: Оставете нашите автори да разплетат сложния, объркан свят на науката и технологиите, за да ви помогнат да разберете какво предстои. Можете да прочетете още материали от поредицата тук.

В края на миналия месец Anthropic публикува доклад, в който твърди, че моделът GLM-5.3 представлява сериозен риск от кибератаки. Основното опасение в доклада е, че мощният нов модел, пуснат през август от китайската компания Z.ai, е свободно достъпен за изтегляне и модифициране от всеки. Твърдението на Anthropic е само последният ход в продължаващия отдавна дебат дали водещите AI модели трябва да бъдат отворени, подобно на GLM-5.3, или да останат заключени зад вратите на водещите лаборатории. 

В наши дни голяма част от дебата за това как да се работи с отворените модели се води публично — а изходът от него е свързан с много пари. Главният изпълнителен директор на Nvidia Дженсън Хуанг, който има много какво да спечели, ако хората продължат да купуват собствен хардуер, на който да изпълняват отворени модели, ентусиазирано подкрепя разработването на повече такива модели в Съединените щати. За разлика от него Дарио Амодей от Anthropic, който ръководи компания, чийто бизнес може да бъде подкопан от евтини и мощни модели, се застъпва за по-предпазлив подход. Но отвъд всички тези търговски стимули има реални основания за разногласията относно отворените модели.

„Мисля, че голяма част от начина, по който се позиционирате в дебата за отвореността, се определя от начина, по който се позиционирате в дебата за AI“, казва Дейвид Грей Уидър, асистент-професор в Училището по информация към Тексаския университет в Остин. Тези, които са загрижени за безопасността на AI, предупреждават, че отворените модели могат лесно да бъдат използвани неправомерно от злонамерени лица, докато онези, които се фокусират повече върху практическия потенциал на AI, настояват тази мощ да не остава зад затворените врати на няколко големи компании и че отворените модели могат да помогнат тя да се разпространи по-широко.

Съществуват редица начини за работа с отворени модели — между пълната им забрана и безконтролното им разпространение. Но всеки подход, който едно правителство или общество би избрало, включва компромиси между безопасността и демократизирането. Решението дали да се подкрепи или ограничи производството на отворени модели изисква задълбочено разбиране на тези рискове и ползи.

Какви са ползите от отворените модели?

Нека започнем от основите. Затворен модел, като моделите, които захранват ChatGPT и Claude, може да бъде достъпен единствено чрез уебсайт, приложение или API. Отвореният модел, от друга страна, може да бъде изтеглен директно: подробностите за вътрешната му структура, кодирани в дълга поредица от числа, известни като тегла на модела, са публично достъпни. Понякога тези модели се наричат „модели с отворени тегла“, за да бъдат разграничени от моделите, при които е достъпна още повече информация, например подробности за процедурата по обучение. 

В момента затворените модели са по-способни от отворените — към момента на публикуването и осемте водещи модела в класацията на LLM моделите на Artificial Analysis са затворени, макар че отворените модели изостават в развитието си само с няколко месеца. Но има няколко причини някой да предпочете отворен модел пред затворен. Тъй като отворените модели могат да бъдат изтегляни, хората могат да ги изпълняват на собствените си компютри или твърди дискове. Те дори могат да ги обучат отново, за да се държат по различен начин, ако разполагат с необходимите експертни знания и ресурси. 

Ако сте академичен изследовател, който работи за разбирането и подобряването на AI системите, почти сигурно ще трябва да работите с отворени модели в своето изследване. При работата със затворени модели изследователите не могат да направят много повече от това да изпращат подкани и да наблюдават отговорите. Но изследователите могат да наблюдават вътрешното функциониране на отворените модели, както и „веригата на мисълта“, която моделите използват, за да обмислят даден проблем, преди да отговорят. Те могат също да комбинират множество отворени модели, за да изграждат нови системи, да ги компресират, за да ги направят по-ефективни, и да ги дообучават за нови приложения.

Бизнесът също има основания да предпочита отворените модели. Дори ако разчитате на външен доставчик, който да ги изпълнява вместо вас, отворените модели обикновено струват по-малко от затворените, според скорошен доклад на Mozilla. А ако компаниите искат да използват AI за обработка на чувствителни данни или поверителна информация, локалното изпълнение на модел на собствения им хардуер може да е най-добрият начин да запазят операциите си сигурни.

Но може би най-важното качество на отворените модели е, че те оспорват строгия контрол, който водещите лаборатории упражняват върху начина, по който повечето от нас използват AI. „Най-ясният и най-големият аргумент [в полза на отворените модели] е предотвратяването на масовата концентрация на власт — става дума за това да се гарантира, че тази фундаментална технология е обществено благо“, казва Елизабет Сегър, старши политически съветник в Института за глобална промяна „Тони Блеър“. „Мисля, че сме в момент, в който въпросът кой контролира инфраструктурата, позволяваща на AI да функционира, е толкова важен, колкото и въпросът кой получава правото да контролира информацията в интернет.“

Сегър вижда бъдещето на AI да се развива по различни начини в зависимост от ролята на отворените модели. В едно възможно бъдеще водещите AI системи се контролират изцяло от избрани хора, компании или правителства и с нарастването на мощта на тези системи тези групи получават все по-голям контрол върху това как изглежда нашият свят. Например най-сложните хакерски модели в света в момента са създадени в Съединените щати, така че изцяло от американските компании и правителството на САЩ зависи дали други държави ще могат да ги използват за укрепване на собствената си киберзащита. Ако тези компании останат начело, на теория можем да се окажем в свят, в който Съединените щати са способни да хакнат всяка друга държава, но никой не е способен да хакне тях.

Водещите отворени модели биха могли да променят този баланс. „Ако всеки човек разполагаше с AI система, лоялна към него, която е безопасна [и сигурна], мисля, че това би бил много по-малко тревожен свят от този, в който хората трябва просто да разчитат на правителство, което казва: „Да, имаме свръхинтелигентна AI система, тя има този план, за всички вас е непроницаема, просто ни се доверете“, казва Хамиш Хобс, директор по политиките за AI в Центъра за дългосрочна устойчивост.

Но отворените модели не са геополитическа панацея. Пол Азунре, съосновател на Ghana NLP — организация, която създава AI инструменти с отворен код за ганайски езици с ограничени ресурси — отбелязва, че отворените модели могат също да служат като начин компаниите да се възползват от труда и експертните знания на по-непривилегировани държави и да консолидират още повече власт в собствените си ръце. Той посочва модел, при който AI компаниите пускат моделите си открито, наблюдават как общността ги използва и модифицира, а след това интегрират същите подобрения в собствените си продукти — без признание или компенсация за хората, създали тези иновации. Самият Марк Зукърбърг е казвал, че възможността да се интегрират подобренията на общността в технологичния стек на Meta е ключова полза от пускането на отворени модели.

„Мисля, че идеалът на отворения код е много благороден и носи много ползи“, казва Азунре. „Но начинът, по който той действително се прилага на практика, обикновено е много експлоататорски.“

По-рискови ли са отворените модели от затворените?

Последните няколко месеца ясно показаха, че безопасността остава труден проблем за затворените модели. През юли имаше автономната атака, която агенти на OpenAI извършиха срещу Hugging Face, но човешката злоупотреба също е реална заплаха: според скорошен доклад за рисковете на Anthropic с помощта на Claude са били проведени няколко мащабни хакерски операции. 

Затворените модели следователно са достатъчно рискови — а отворените вероятно биха били много по-лесни за използване с вредоносна цел. Преди Anthropic да предаде заявката на потребител към един от своите затворени модели, компанията използва автоматизирани системи, за да установи дали заявката е свързана с хакерство, биологични оръжия или други рискове. Когато установи, че потребители са надхитрили тези филтри, тя може да закрие акаунтите им. Но когато някой изтегли модел и го изпълнява на собствения си хардуер, няма филтър, който да проверява дали подканите му са безопасни, и няма начин достъпът му до модела да бъде отнет.

Съществуват и други важни линии на защита. AI компаниите обучават моделите си да отказват вредни заявки — така че дори ако вредна подкана премине през филтрите на Claude, има голяма вероятност моделът все пак да откаже. На теория същата защита би могла да работи и при отворените модели, защото е присъща на самия модел. За съжаление, изследователи са показали, че е изненадващо лесно да се дообучи един „безопасен“ отворен модел да се съгласява да извършва действията, които преди това е бил обучен да избягва.

Заради тези факти някои хора твърдят, че отворените модели просто са твърде опасни, за да бъдат пускани. Един достатъчно способен отворен модел, който може да преведе някого през процеса на синтезиране на силно вирулентен нов патоген, например би могъл да се окаже катастрофален в неподходящи ръце. 

Но би било огромно опростяване да обявим отворените модели за опасни, а затворените за безопасни. Защитите, които AI компаниите изграждат около затворените си модели, далеч не са съвършени, а хората постоянно злоупотребяват с тези модели, както ясно показва докладът за рисковете на Anthropic. Въпреки че отворените модели имат още по-малко защити срещу злоупотреба, злонамерените лица все пак може да предпочетат затворени модели, защото те са по-достъпни от отворените модели със сходни възможности, чието локално изпълнение изисква множество скъпи компютърни чипове (и още повече чипове, ако искате да ги обучите отново).

Всъщност някои експерти, разговаряли с MIT Technology Review, твърдят, по аналогия с отворения код, че отворените модели имат предимства по отношение на безопасността пред затворените. Инструментите с отворен код, като операционната система Linux, често се смятат за по-сигурни от своите затворени аналози, защото уязвимостите им са били изследвани и отстранени от огромна общност онлайн сътрудници. По подобен начин общностите от изследователи могат по-лесно да тестват отворените модели за пропуски в сигурността, макар че отстраняването на тези пропуски е по-трудно от пренаписването на един ред код.

Отворените модели могат също да бъдат използвани по-широко от затворените за киберзащита. Всеки инструмент, който може да се използва за хакерство, може да се използва и за предотвратяването му: защитниците хакват собствения си софтуер, за да открият пропуски, които трябва да бъдат закърпени. Anthropic показа как това може да работи при затворените модели със своята инициатива Project Glasswing, която позволява на някои доверени компании да използват най-способните ѝ модели за киберзащита. Но много други компании бяха оставени да се оправят сами.

Отворените модели обаче могат да се използват много по-широко. След като беше хакната от агенти на OpenAI, Hugging Face подчерта, че е трябвало да разчита на отворен модел, за да анализира атаката, защото въпросите за нея са задействали филтрите за сигурност на затворените модели.

Въпреки това много експерти продължават да възприемат отворените модели като по-рискови от затворените. Изпитаната във времето логика на сигурността при отворения код не издържа непременно, когато става дума за инструменти, толкова мощни като днешните — и утрешните — модели. „Сложността се появява, когато започнете да приемате сериозно единичните случаи на особено катастрофални инциденти, които може да са с по-ниска вероятност, но ако се случат, биха били пагубни“, казва Сегър. Ако днес в света бъде пуснат изключително мощен отворен хакерски модел, например злонамерено лице би могло да опустоши технологичната ни инфраструктура, преди някой да има възможност да укрепи защитите си. Подобно събитие може да се окаже невъзможно за преодоляване.

Рисковете могат да изглеждат още по-драматични, ако вземете предвид какво биха могли да направят моделите по собствена инициатива. Хакването на Hugging Face от OpenAI се случи само защото моделите на компанията бяха тествани с премахнати много от защитите им за киберсигурност, а отворените модели поначало имат много малко защитни механизми. Ако отворените модели решат да се държат зле, може да е трудно да се установи какво се случва, защото са толкова децентрализирани. Поради тази причина хората, които приемат сериозно предполагаемите катастрофални рискове, породени от агенти, излезли извън контрол, като Дарио Амодей, обикновено са по-скептични към отворените модели.

Можем ли да направим отворените модели по-безопасни — и по-отворени?

Преди няколко години дебатът за отворените модели беше представян като въпрос „всичко или нищо“: или подкрепяте отворените модели заради потенциала им да се противопоставят на концентрацията на власт, или ги отхвърляте заради рисковете за безопасността. В наши дни обаче хората полагат много усилия, за да намерят среден път. Един от начините е разработването на техники за намаляване на рисковете за безопасността, свързани с отворените модели.

Повечето инструменти за безопасност, използвани при затворените модели, като филтри и наблюдение, не са приложими към отворените модели, но съществуват и други възможности. Някои изследователи се интересуват от опитите да обучават модели, които никога не са изложени на данни за обучение, учещи ги на лошо или по друг начин нежелано поведение — например отворен модел, който никога не научава нищо за хакерството. Но премахването на всички препратки към неправомерно поведение от наборите от данни за обучение, без това да навреди на ефективността на модела, остава предизвикателство.

Други изследователи работят върху създаването на модели, устойчиви на дообучаване, така че обучението за безопасност на един отворен модел да не може лесно да бъде премахнато. Теорията зад тези „защитени от вмешателство“ модели има много смисъл: ако многократно се опитвате да дообучите модел да бъде опасен и засилвате всяка съпротива, която той проявява към това дообучаване, в крайна сметка ще получите модел, укрепен срещу бъдещи опити за дообучаване. На практика обаче нито един от съвременните подходи за създаване на устойчиви на вмешателство модели не издържа срещу всички атаки за нарушаване на защитите, според скорошен препринт.

Но Саад Хосейн, инженер в компанията за медицински изображения с AI Deep Breathe и водещ автор на статията, се надява, че бъдещите техники ще се окажат по-ефективни. „Причината за оптимизма ми е, че това е изключително активна област на изследванията и много хора се опитват да измислят нови и по-добри методи“, казва той.

Ако рисковете от отворените модели са по-малко черно-бели, отколкото може да изглеждат на пръв поглед, същото важи и за ползите. Публикуването на вътрешните структури, или теглата, на моделите може да не е достатъчно, за да наруши концентрацията на власт, опосредствана от AI. „Мисля, че отвореният код носи съвсем реални ползи по отношение на деконцентрацията на властта, но те сами по себе си не са достатъчни“, казва Хобс. Отворените тегла са минималният стандарт за отворените модели: изследователите могат да научат много повече за начина, по който работят моделите, ако имат достъп до подробности за обучението им, включително до данните, върху които са били обучени, но AI компаниите обикновено не желаят да разкриват тази информация. 

Достъпността също е важна за отворените модели. Без компютърни чипове, способни да изпълняват сложни модели, на практика не можете да използвате теглата на модела, дори да разполагате с тях. Тези чипове станаха непосилно скъпи, тъй като AI компаниите изкупуват все повече от тях. „Отвореността е подът, а не таванът, на това, което трябва да направим, за да гарантираме, че технологичното ни бъдеще ще донесе ползи на всички“, казва Уидър.

Истинската отвореност — не само отворени тегла, но и отворени данни за обучение и достъпен хардуер — разбира се, може да донесе и повече рискове. Ако всеки има достъп до усъвършенстван AI хардуер и усъвършенствани модели, които да изпълнява на него, тогава всеки потенциално би могъл да бъде хакер. Но съществуват стратегии за намаляване на тези рискове. Много експерти се застъпват за някаква форма на поетапно пускане, при която моделите започват живота си като затворени и постепенно стават все по-свободно достъпни, когато безопасността им бъде гарантирана. 

Определянето на точния начин за прилагане на подобни стратегии ще изисква внимателен баланс между рисковете и ползите от отворените модели. Но ако отворените модели са необходим елемент от едно положително AI бъдеще, както вярват някои експерти, тези усилия ще си заслужават.