Що стоїть за останніми попередженнями AI-індустрії про загибель?

Схоже, що в індустрії ШІ точиться найгучніша досі дискусія про те, чи становить ця технологія екзистенційну загрозу для людства.

Нинішнє обговорення почалося після того, як дослідник ШІ Джейкоб Коксон заявив, що звільнився з Anthropic, оскільки побоюється, що провідні компанії у сфері ШІ «грають у рулетку з нашими життями». Потім до розмови долучився керівник напряму alignment в Anthropic із дописом: «Ми справді щиро вважаємо, що ШІ може вбити всіх людей!», додавши, що особисто оцінює таку ймовірність як «>10% протягом наступного десятиліття».

В останньому випуску подкасту TechCrunch Equity ми з Кірстен Коросек і Шоном О’Кейном обговорили останні апокаліптичні попередження. Я намагався пояснити, чому скептично ставлюся до багатьох наративів про неминучий кінець людства через ШІ, тоді як Кірстен запитала, чи це «просто дивний спосіб похизуватися й показати, наскільки просунутою є модель ШІ їхньої компанії», особливо з огляду на підготовку цих компаній до виходу на біржу.

А Шон поцікавився, як ці побоювання можуть проявитися у формі S-1 Anthropic для її IPO: «Чи є зараз молодші юристи, які переглядають і змушені переписувати весь цей розділ форми S-1, щоб сказати: “Офіційна позиція Anthropic полягає в тому, що існує ймовірність понад 10%, що ми можемо розробити щось, що знищить усе людство, і це матиме істотний негативний вплив на наш бізнес”?»

Читайте далі попередній огляд нашої розмови, відредагований для стислості й ясності. (Примітка: ми записали цей випуск до того, як генеральний директор Anthropic Даріо Амодеї опублікував свій план обережнішого розвитку ШІ.)

Шон О’Кейн: Мені важко пригадати щось, що вибухнуло б так швидко. Не лише це попередження надійшло від молодого дослідника, який також працював в OpenAI, а й одразу було поширене в X керівником напряму alignment в Anthropic — і він, можливо, поставив один із найневдаліших знаків оклику в історії, поширив допис і тред Коксона та написав: «Ми справді щиро вважаємо, що ШІ може вбити всіх людей!» Знак оклику!

Яка дивна атмосфера. Це просто додало величезну кількість пального до вже проблемного допису чи серії дописів. Після злому Hugging Face внутрішньою моделлю OpenAI, а також з огляду на зростання можливостей, які ми побачили в останніх моделях Anthropic, а тепер і OpenAI з Astra кілька тижнів тому, я думаю, це було ідеально своєчасним, щоб перетворитися на порохову бочку для заяви цього молодого дослідника.

Ентоні Га: Просто не погоджуся з тобою: я справді вважаю, що якщо ти віриш, ніби ШІ може знищити все людство, це заслуговує на знак оклику. Я б сказав, що це цілком доречно використаний знак оклику!

Моя проблема з тим твітом радше у слові «ми». Хто такі «ми»? Наскільки взагалі можна говорити про спільноту ШІ або дослідницьку спільноту ШІ як про моноліт? А ймовірність понад 10% — це просто вигадане число, яке нічого не означає. Іноді в технологічній індустрії та інших сферах є така звичка просто називати відсотки, які ні на чому не ґрунтуються і нічим не обчислені. [Озираючись назад, я розумію, що, ймовірно, у твіті йшлося про концепцію P(doom), але все одно вважаю це безглуздим.]

Одне, що я скажу про заяву та рішення Коксона: на Equity постійно виникає тема, коли хтось на кшталт Сема Альтмана чи Даріо Амодеї просуває наратив про кінець світу через ШІ: завжди постає питання — якщо ви справді в це вірите, навіщо ви робите те, що робите? Якщо ви насправді вважаєте, що [ШІ може знищити людство], ви б не продовжували цим займатися.

[Натомість] тут людина справді поставила свою професійну траєкторію на карту відповідно до власних слів. Він фактично каже: «Я вважаю, що це справді, справді, справді погано і не хочу продовжувати над цим працювати». Тож, як би там не було, варто віддати йому належне за мужність так учинити.

Кірстен Коросек: Так, я виокремлюю його в окрему категорію порівняно з усіма іншими, хто так говорить і розповідає про небезпеки.

Я надягну спекулятивні окуляри, бо хочу поставити вам обом запитання: чи можливо, що щоразу, коли ми бачимо дедалі більше дописів у блогах про черговий випадок, коли один із їхніх ШІ-агентів ненавмисно проривається кудись, або коли вони говорять про загрозу для людства, це дивний спосіб похизуватися й показати, наскільки просунутою є модель ШІ їхньої компанії?

Я маю на увазі, це звучить дуже цинічно, але така мета справді досягається. Якщо ці моделі ШІ не були б просунутими, не були б здатними й не проривалися назовні, нам не доводилося б про це турбуватися, чи не так? Це дуже дивний спосіб похвалитися можливостями моделей, які ви створили у власній компанії.

Ентоні: Я, безперечно, про це замислювався. Не думаю, що це цілковитий цинізм, у тому сенсі, що не вважаю все це суцільним, цілком свідомим маркетинговим ходом. Думаю, коли багато хто з цих людей — чи то дослідники, чи генеральні директори — говорить про це, вони справді занепокоєні.

Але, звісно, багато в чому це відповідає їхнім бізнесовим інтересам: можна сказати «Ого, ми створили найсмертоносніше програмне забезпечення з усіх, які коли-небудь існували». Не хочу надто заглиблюватися в психоаналіз, але інші вже зазначали, що на особистому рівні існує така спокуса: звісно, хочеться вірити, що річ, над якою ти працюєш, є найважливішою та найнебезпечнішою у світі.

Шон: Коли я думаю над цим питанням, мені спадає на думку, що тут безперечно є елемент, через який усе виглядає так: «Гаразд, ми робимо щось настільки потужне, і це певним чином добре для нас, навіть якщо з багатьох поглядів це здається поганим».

Думаю, відмінність деяких найсвіжіших прикладів у тому, що вони справді створюють враження, ніби ці компанії певним чином не контролюють ситуацію, особливо якщо говорити про OpenAI.

Ми дедалі частіше бачимо повідомлення про інших внутрішніх агентів, які отримували доступ до різних вікі в інтернеті й залишали повідомлення один для одного, причому OpenAI, схоже, не здатна компетентно впоратися з цим. Я уявляю, що історія, яку розповідають, була б трохи краще відшліфована, якби вся справа зводилася лише до того, щоб люди повірили: «О боже, вони створили щось неймовірно потужне».

Інша річ, яка здається мені особливо захопливою: ми, здається, щонайбільше за кілька тижнів від моменту, коли побачимо форму S-1 Anthropic для її IPO, і ще за кілька тижнів або місяців від потенційного IPO.

І думка про те, що напередодні IPO ви виходите й висловлюєтеся настільки прямо, — мені дуже цікаво, що це означає для цього процесу. Скільки подібних речей вони вже вписали у форму S-1 та розділ про ризики в цьому документі? Чи є зараз молодші юристи, які переглядають і змушені переписувати весь цей розділ форми S-1, щоб сказати: «Офіційна позиція Anthropic полягає в тому, що існує ймовірність понад 10%, що ми можемо розробити щось, що знищить усе людство, і це матиме істотний негативний вплив на наш бізнес»?

Кірстен: Ти припускаєш, що цього там іще немає.

Шон: Саме це я й кажу: воно вже там і його переформульовують? Чи це справжня авральна робота? Там неодмінно вже були відповідні формулювання. Саме тому я так прагну прочитати цей документ — певною мірою він може виявитися навіть цікавішим за [форму S-1] SpaceX, адже я впевнений, що там, імовірно, будуть конкретні положення, пов’язані з цими ідеями, і їх буде цікаво побачити.

Кірстен: Ось у чому річ: у традиційному інвестиційному середовищі можна було б вважати, що такі формулювання зашкодять оцінці компанії, адже вона раптом стає небезпечною. Але ми живемо не в нормальні часи.

Тож, повертаючись до моєї думки, з погляду оцінки це зрештою може стати дивним вигідним способом похизуватися для компанії. Це не те саме, що тренд на провокаційний контент заради обурення, який ми спостерігали торік, але це той самий, скажімо так, всесвіт, де сила, можливості й навіть елементи небезпеки чогось дорівнюють високій оцінці. Тож, гадаю, за кілька тижнів побачимо.

На хвилину залишмо це осторонь: що з цим роблять? І чи можемо ми це контролювати? Виконавчий директор американського підрозділу неприбуткової організації ControlAI Коннор Ліхі, був у нашому шоу цього тижня й говорив про це. Тож за чим ви стежите з погляду контролю небезпечних аспектів ШІ, чи ми просто піднімаємо руки й спостерігаємо, як усе розгортається?

Ентоні: Я сам не обов’язково маю хорошу відповідь на це питання, але розмірковував над деякими аспектами цієї дискусії й, можливо, над тим, чому саме так на неї реагую.

Повертаючись до однієї з думок Шона, я справді вважаю, що частково це свідчить про те, наскільки великі компанії у сфері ШІ відчувають, що більше не контролюють ці моделі належним чином. Це безперечно недобре. Це те, що має непокоїти всіх нас.

Думаю, частково я скептично або вороже ставлюся до наративу про кінець світу через те, що він доходить до рівня істерії: «Ого, це може знищити людство в найближчі 10 років». Це дещо відволікає від більш безпосередньої шкоди, якої може завдавати ШІ, — чи то пов’язаної з працею, чи то з довкіллям і кліматом.

В ідеалі, я думаю, ми повинні мати змогу обговорювати всі ці питання й запровадити регуляторні та інші запобіжники проти всіх цих загроз [зокрема екзистенційної загрози з боку ШІ]. Але щойно ви починаєте вживати такі терміни, як AGI і надінтелект, вони просто забирають усю увагу в кімнаті, і це зовсім не допомагає.