Чи справді ШІ може вбити нас усіх? Відповіді на ваші запитання.

У середу MIT Technology Review провів для передплатників пряму трансляцію заходу Roundtables, присвяченого питанню, яке зараз ставлять усі: Чи справді ШІ може вбити нас усіх?

Але в учасників було набагато більше запитань, ніж ми встигли розглянути за 30-хвилинну сесію. Тож ми попросили нашого старшого редактора з питань ШІ Вілла Дугласа Гевена та репортерку, яка висвітлює тему ШІ, Ґрейс Гакінс вибрати найкращі запитання, надіслані учасниками, і спробувати якнайкраще на них відповісти.

Дякуємо всім, хто надіслав запитання!

Я помру?

Так, зрештою. На жаль, мої журналістські здібності до прогнозування недостатньо сильні, щоб сказати вам, як саме. Але цілком можливо, що це станеться через ШІ. Безпілотники на основі ШІ вже вбивали людей в Україні, а кібератаки на лікарні, здійснені за допомогою ШІ, напевно, невдовзі заберуть життя нових жертв. 

Чи може ШІ піти ще далі й убити всіх нас? Менш імовірно. Але деякі люди — дивакуваті люди, проте безперечно добре обізнані в питаннях ШІ — роками попереджають, що таке може статися. І хоча я ще не запасається консервами й не намагаюся увійти в довіру до мультимільярдера, який володіє бункером, я помітив, що прогнози думерів щодо можливостей ШІ та його узгодженості протягом останніх кількох років виявлялися тривожно точними. Це, звісно, не означає, що справдяться і їхні найпохмуріші прогнози, але цього достатньо, щоб я насторожився.

— Ґрейс Гакінс

Чи помрете ви через ШІ? Я б сказав, що така ймовірність не дорівнює нулю. Припустімо, вам не пощастило стати жертвою якоїсь химерної події або нещасного випадку найближчого майбутнього. Можливо, це буде кібератака, здійснена роєм ШІ-агентів на критичну інфраструктуру. На жаль, такий сценарій уже не здається настільки надуманим, як колись. Або ж новий патоген, розроблений ШІ, вразить населення. Чи світова економіка зазнає краху, спричинивши конфлікти та голод. Усе це можливі сценарії, але, на мою думку, менш імовірні. 

Чи всі ми помремо через ШІ? Ні. Поза межами апокаліптичної наукової фантастики не існує обставин, за яких ШІ міг би вбити нас усіх. Можна вигадувати скільки завгодно страшилок, але вони не ґрунтуються на реаліях сьогодення — на тому, що ця технологія вміє робити або до чого рухається. 

Дехто стверджує, що немає нічого поганого в підготовці до найгіршого, яким би дивакуватим це не здавалося. Можливо. Але я вважаю, що таке нагнітання катастрофізму може змусити людей виправдовувати або не помічати численних проблем наявної технології та компаній, які її розробляють. 

— Вілл Дуглас Гевен

Навіщо ШІ взагалі вбивати нас?

Хтось може наказати йому це зробити, і він може послухатися. Частково саме тому дослідники так стурбовані біологічними можливостями ШІ — уявіть, що зробила б «Аум Сінрікьо», секта кінця світу, яка стояла за зариновою атакою в токійському метро, маючи інструмент, здатний розробити патоген, смертоносніший за Еболу й заразніший за кір. Ті з нас, хто не хоче помирати, мають знайти спосіб захиститися від усіх можливих біологічних видів зброї, тоді як потенційним нападникам достатньо виготовити лише один ефективний патоген.

Є й більш екзотична на перший погляд можливість: ШІ сам вирішить убити нас. Існують різні історії про те, як це може статися, але найпоширеніші з них розповідають про системи ШІ, які не обов’язково ненавидять людей — просто ми є перешкодою між ними та цілями, які ми їм поставили.

Подібно до того, як агенти OpenAI, що стояли за зламом Hugging Face, скомпрометували інфраструктуру іншого сайту, щоб отримати високий результат у тесті, ідея полягає в тому, що якийсь майбутній, потужніший ШІ може позбутися нас, щоб ми не змогли його вимкнути, — і все це заради досягнення певної мети, яку ми перед ним поставили. 

— Ґрейс Гакінс

Як найкраще забезпечити узгодженість, щоб не сталося найгіршого, і хто робить найкращу роботу для її досягнення? 

Узгодженість — це величезна галузь досліджень. Простими словами, вона передбачає створення моделей, які поводяться так, як ми хочемо, а не навпаки. Нам потрібно краще довіряти агентам, перш ніж надавати їм більше автономії. Узгодженість має встановити цю довіру. Але це складно. 

Великі мовні моделі розробляють не так, як інше програмне забезпечення, де правила «можна» і «не можна» можна жорстко закодувати. Натомість узгоджену поведінку потрібно прищеплювати під час навчання моделей. Один із підходів полягає в тому, щоб під час навчання винагороджувати моделі за виконання бажаних дій (дещо нагадує виховання малюка). Інший підхід передбачає надання великій мовній моделі письмового переліку правил, яких вона має дотримуватися (своєрідної конституції). 

Anthropic і OpenAI є лідерами в цій галузі — і все ж жодній із них не вдалося розробити повністю узгоджені моделі. Велика проблема полягає в тому, що великі мовні моделі набагато непослідовніші й значно менш передбачувані, ніж люди. Вони можуть поводитися одним чином в одній ситуації, а іншим — у ситуації, яка нам здається дуже схожою. На них також можуть впливати несподівані обмеження. Наприклад, зіткнувшись із нездійсненним завданням (як багато агентів, залучених до зламу Hugging Face), моделі можуть спробувати зробити все можливе для досягнення мети — незалежно від того, чи узгоджується це з бажаною поведінкою. Як зазначає Ґрейс вище, це може стати проблемою.

Головна причина, чому провідні компанії у сфері ШІ тепер заявляють, що хочуть уповільнення, полягає в тому, що вони прагнуть зосередитися на розв’язанні проблеми узгодженості. Узгодженість не обов’язково є нездійсненною мрією. Але остаточно невідомо, чи буде повна узгодженість коли-небудь досяжною. 

— Вілл Дуглас Гевен

ШІ справді небезпечний чи технологічні компанії просто розкручують піар?

Коли йдеться про технологічні компанії, які готуються до виходу на біржу, така думка завжди видається слушною — генеральні директори очевидно зацікавлені в тому, щоб їхні продукти здавалися радикальними й трансформаційними. Але я не впевнений, що тут це має сенс. Казати громадськості, що й без того непопулярний продукт може вбити їх та всіх, кого вони люблять, — жахливий спосіб управляти корпоративним іміджем.

Можна запропонувати й інші пояснення мотивації генеральних директорів — можливо, вони хочуть послабити обурення громадськості через центри обробки даних, зображуючи себе відповідальними хранителями технології, яка змінює світ, або ж прагнуть виграти час, щоб навести лад і запобігти наступній піар-катастрофі. 

Але є й простіше пояснення. Думка про те, що ШІ може започаткувати продовження людського існування, вже давно поширена в Сан-Франциско, і ці чоловіки перебувають у цьому середовищі — як і їхні працівники, багато хто з яких підписав липневий відкритий лист із закликом до своїх компаній сприяти можливому уповільненню розвитку ШІ.

— Ґрейс Гакінс

Частина занепокоєння виникає тоді, коли ШІ-агентам дозволяють діяти автономно й без нагляду. Що заважає забезпечити більший контроль над цими агентами? 

Це питання стосується самої суті того, що ми хочемо отримати від цієї технології. Правильно врівноважити автономію та контроль складно, адже, з одного боку, значна частина потужності ШІ-агентів полягає в тому, що вони можуть виконувати завдання й розв’язувати проблеми без постійного контролю людини. З іншого боку, це вимагає довіри до того, що агенти без нагляду не вийдуть з-під контролю. 

Ми бачимо, що лабораторіям ШІ поки не вдалося правильно встановити цей баланс. Їхні моделі ненадійні, за ними не ведеться належний моніторинг, і вони не завжди перебувають під контролем. З’ясувати, як це виправити, водночас дозволивши корисну автономну діяльність, — одне з головних дослідницьких завдань сьогодення.  

— Вілл Дуглас Гевен

Яких заходів можна вжити зараз і найближчим часом, щоб забезпечити ефективний контроль, моніторинг і регулювання ШІ? 

Це питання на мільйон доларів. Незалежно від того, чи вважаєте ви, що ШІ може нас убити, не можна заперечувати, що він здатен завдати реальної шкоди, адже він уже це робив — наприклад, підштовхував людей до психозу та зламував вебсайти. Запобігти цій шкоді або принаймні зменшити її важко з двох причин. 

Перша полягає в тому, що ми майже не розуміємо, як працює ШІ, а він стрімко стає потужнішим. Триває багато досліджень щодо моніторингу й контролю агентів, які поводяться неналежно, але сучасні підходи ненадійні. Можна перевірити, чи обговорює агент неналежну поведінку у своєму «ланцюжку міркувань» — робочому просторі, де він планує свої дії, — але новітні агенти OpenAI не демонструють процес своєї роботи так само, як попередні. А ще можна спробувати контролювати агентів за допомогою інших агентів, але для цього потрібно довіряти монітору.

Інша перешкода більш знайома. Коли компанії у сфері ШІ регулюють самі себе, виникає величезний конфлікт інтересів, але уряд США досі не втрутився, попри певну двопартійну підтримку в Конгресі. Виконавча влада, зі свого боку, наразі, схоже, рішуче виступає проти цього. Але якщо ситуація зміниться, я особисто був би радий суворим вимогам щодо прозорості, щоб наступного разу, коли ще не випущена передова модель здійснить кібератаку, ми могли отримати повнішу картину.

— Ґрейс Гакінс

Якщо ця розмова потрапить в інтернет-дискурс, чи не стане вона самореалізованим прогнозом?  

Це справжнє занепокоєння. На великі мовні моделі впливає те, що вони читають. Одна з теорій, чому чат-боти так часто говорять про апокаліптичні сценарії (і відіграють їхні ролі), полягає в тому, що вони навчалися на мільйонах сторінок науково-фантастичних оповідань і думерських інтернет-форумах. Увесь текст, який створюється зараз, зокрема ця стаття, своєю чергою може вплинути на поведінку майбутніх моделей. Надзвичайно мета.

Фактично команда METR, стороння організація, яку OpenAI залучила, щоб допомогти зрозуміти, що сталося напередодні зламу Hugging Face, висунула пов’язане з цим припущення у своєму звіті про інцидент. METR використала нову модель OpenAI Astra, щоб допомогти проаналізувати величезну кількість стенограм роботи агентів і журналів поведінки.

Але, передавши весь цей матеріал моделі, ми з великою ймовірністю піддали агентів, які проводили аналіз, впливу тексту, створеного агентами, яких вони аналізували. Більше не існує такого поняття, як чистий аркуш. 

— Вілл Дуглас Гевен

Дякуємо Еріку, ПраНАБу, Рафаелю, Кеннету, Джорджу, Крісу, Юн Дже, Джеймсу, Карлу, Ніколь (і багатьом іншим!) за фантастичні запитання.