Нехай справжня Anthropic підведеться

Ця історія спочатку з’явилася в The Algorithm, нашому щотижневому інформаційному бюлетені про ШІ. Щоб першими отримувати подібні історії у своїй поштовій скриньці, підпишіться тут.

Після кількох тижнів гарячкових спекуляцій Anthropic подала проспект IPO. У документі на 335 сторінок (близько 100 сторінок присвячено ризикам) викладено унікальне бачення компанією технології, яку вона створює, і способів, у які, на її думку, ця технологія змінить світ. 

Але Anthropic роками вдосконалювала свої навички оповіді. Фактично її публічні повідомлення — це майстер-клас із захоплення наративу.

На початку цього місяця Джек Кларк, співзасновник компанії та керівник її політичного напрямку, виступив із промовою на зустрічі МВФ у Бангкоку, де оголосив присутнім економістам, банкірам і законодавцям, що сингулярність уже настала.

Запроваджена письменником-фантастом і футуристом Вернором Вінджем близько 40 років тому (і відтоді предмет тривалих суперечок на більш гікських окраїнах інтернету), сингулярність нібито є моментом, коли технології стають настільки досконалими, що перевершують можливості своїх творців.

Згідно з цією ідеєю, люди залишаються позаду, більше не спроможні конкурувати з плодами свого колишнього творіння — або навіть зрозуміти їх.

А цей вигаданий світ, який багато хто з нас уявляв із дитинства? Виявляється, ми вже в ньому живемо: «Я вважаю, що цього року ми отримали переконливі докази того, що вона вже почалася», — сказав Кларк своїм слухачам.

Компанія розповідає яскраву (і багато в чому страшну) історію про майбутнє, яке зображує неминучим, хоча воно ще не настало, часто запозичуючи її з побитих науково-фантастичних мемів. Вона представляє свою технологію як загадкову й небезпечну та наполягає, що є єдиною компанією, достатньо надійною, щоб її приборкати. (Який інвестор не захотів би долучитися до цього?)

Ось інший приклад. Минулого року Кріса Олаха, іншого співзасновника Anthropic, запросили виступити у Ватикані, де він розповів Папі Леву XIV та іншим релігійним науковцям і посадовцям про те, що його компанія дізнається про свою технологію. «Буду відвертим: ми постійно знаходимо речі, які є загадковими, навіть тривожними, — сказав він. — Ми знаходимо докази самоаналізу. Ми знаходимо внутрішні стани, які функціонально віддзеркалюють радість, задоволення, страх, горе й неспокій».

Не зважаймо на те, що багато дослідників глузували б із такого відвертого припущення, ніби програмне забезпечення Anthropic має внутрішній досвід, подібний до людського. Коли так мало здається певним, заяви Anthropic (та інших передових компаній у галузі ШІ) хапають і тримаються за них, наче за уламки потопаючого корабля.

Я не кажу, що вони неодмінно помиляються в усьому цьому. (Це тема для іншого дня.) Але у світі, де ніхто не знає, що нас чекає, такі компанії, як Anthropic, можуть заповнювати вакуум. 

Варто на мить запитати: що таке Anthropic? Це може звучати як запитання для розігріву в сімейній телевікторині, але відповісти на нього набагато важче, ніж ви можете подумати.

Це питання не виходить у мене з голови після того, як прочитаний минулого тижня обмін думками в X, ініційований Натаном Келвіном, головним директором зі стратегії в Encode AI — організації, що базується у Вашингтоні, округ Колумбія, і виступає за регулювання. Келвіна обурив законопроєкт, запропонований Anthropic у проєкті закону, який вона таємно поширила серед американських законодавців (а потім його злили в мережу).  

Келвін сказав, що Anthropic хоче, щоб її вважали хорошим хлопцем. Але чому ми маємо їй довіряти? «Що таке Anthropic?» — запитав він.

Ось одна з відповідей: Anthropic — це компанія, оцінена внаслідок IPO більш ніж у 1,5 трильйона доларів, що принесе її співзасновникам, зокрема Кларку й Олаху, величезні статки. 

Але Anthropic завжди наполягала, що є чимось більшим. Як зазначив Келвін: натомість Anthropic можна вважати організацією, що займається безпекою ШІ та зосереджена на розробці потужної технології, яка є надійною й (майже) не становить ризику. Або її можна вважати групою людей, одержимих створенням технології з надлюдськими можливостями раніше за всіх — можливо, тому, що вони вважають себе найвідповідальнішими людьми для цього, а можливо, через власне его.

Насправді Anthropic — це все перелічене. Як висловився генеральний директор Даріо Амодеї у відповіді на допис Келвіна: «Наша стратегія завжди полягала в тому, що я називаю “перегонами на вершину”: показуючи, як можна відповідально створювати технології, ми можемо підвищити планку для всієї галузі. Сили, що рухають перегони на вершину, набагато ефективніші, якщо компанія, яка їх утілює, перебуває на передовій; це один із уроків, які я неодноразово засвоював. І якщо розглядати цю стратегію в цілому, я пишаюся нашими результатами й дотримуюся її».

Амодеї говорить так, ніби в нього все під контролем, але виконувати кілька ролей складно. Наприклад, між пріоритетами організації з безпеки ШІ та орієнтованого на прибуток мегакорпоративного гіганта існують величезні суперечності. (У своєму дописі Амодеї визнає, що припускався помилок.)

Зрештою, історії, які Anthropic розповідає сама собі, мають допомогти нам зрозуміти історії, які вона розповідає нам. Вони мають допомогти нам визначити, наскільки можна довіряти їй у саморегулюванні, або чи повинні ми змушувати її надавати зовнішнім тестувальникам безпеки доступ до своїх моделей на наших умовах, а не на її. Вони мають допомогти нам дати їй презумпцію добрих намірів (або не дати її), коли стає відомо про законопроєкт, що виглядає як такий, що служить її власним інтересам.

Але я думаю, що ці історії розкривають багатоголову гідру. Для різних людей Anthropic є різною, і я не впевнений, що це робить її надійнішою. У багатьох аспектах звичайна технологічна компанія старого зразка — без рольової гри в наукову фантастику, без езотерики — була б набагато зрозумілішою.