Кевін Руз підсів на AGI. А ви чому ні?

Сьогодні я розмовляю з Кевіном Рузом, журналістом і автором нової книжки The AGI Chronicles, у якій детально описано нещодавню вибухову трансформацію індустрії штучного інтелекту.

Кевін багато років працював репортером New York Times і був ведучим популярного подкасту Hard Fork, але він і друг цього шоу Кейсі Ньютон щойно залишили Times, щоб запустити абсолютно новий технологічний подкаст Machine Gods, який вийшов минулого тижня.

Ми з Кевіном поговорили про запуск Machine Gods і про те, як це — перейти від The New York Times до незалежного творця, а потім, звісно, обговорили книжку, яка є чудово підготовленим репортажним зануренням у компанії, що змагаються за створення штучного загального інтелекту.

Я хотів почути від Кевіна, як це було — готувати матеріал, намагатися зрозуміти цих персонажів і цей історичний момент, а також те, куди все це рухається далі. Одразу попереджаю: наприкінці розмова набуває досить філософського характеру, але, думаю, ви знайдете цей діалог справді вартим уваги.

Отже: Кевін Руз про The AGI Chronicles, запуск Machine Gods і майбутнє ШІ. Почнімо.

Це інтерв’ю було трохи відредаговано для стислості та ясності.

Кевіне Рузе, ви автор The AGI Chronicles і співзасновник та співведучий нового подкасту Machine Gods. Ласкаво просимо до Decoder.

Дуже дякую, що запросили.

Я слухав перший епізод Machine Gods і почув, як ви з Кейсі обговорювали той факт, що технічно ви маєте посаду генерального директора.

Це правда. Я виграв підкидання монетки, а нам потрібно було когось призначити. Коли ви засновуєте компанію, як це зробили ми, потрібно вказати когось генеральним директором — мабуть, щоб знати, кого тягнути до Конгресу, коли неминуче вибухне наш перший скандал. Отже, це буду я.

Кумедно, адже на Decoder ви генеральний директор. Це означає, що мені доведеться поставити вам запитання з Decoder.

[Сміється] Гаразд. Я генеральний директор лише близько п’яти хвилин і, якщо чесно, більшість днів забуваю, що я генеральний директор.

Чесно кажучи, це відповідає більшості генеральних директорів у цьому шоу. Усі вони поводяться так, ніби займають цю посаду лише п’ять хвилин. Ми до цього повернемося.

Я хочу поговорити про вашу книжку. Вона називається The AGI Chronicles. Це ретельно підготовлена книжка про головні передові лабораторії та культурні зміни, через які всі вони пройшли, коли ШІ вийшов на передній план і багато в чому став значно комерційнішим продуктом.

Але почнімо з Machine Gods. Ви довгий час були журналістом у The New York Times . Очевидно, думаю, аудиторія це знає, але ми з вами давно знайомі. Скажу, що відколи я вас знаю, ваше бажання стати ютубером завжди було для вас важливим. Ви постійно питали: «Як мені туди перебратися?» А я завжди казав: «Тікай, не роби цього». Але ви це зробили.

Ви залишили The Times, заснували власний подкаст із нашим другом Кейсі Ньютоном. Це наступне покоління дуже популярного подкасту Hard Fork, який був чудовим. Я радий за вас, але що змусило вас на це зважитися?

Так, ви намагалися відмовити мене від цього стільки ж часу, скільки я намагався переконати себе це зробити, але вам не вдалося, бо ось я тут.

Так, я провалився. Повністю провалився.

Ні, дивіться, думаю, що з дуже вагомих причин медіакомпанії давно трохи побоюються повністю переходити на YouTube чи будь-яку іншу відеоплатформу. Ті, хто зробив на це повну ставку, не обов’язково вийшли з цього процесу з хорошими враженнями, адже є багато—

Так, вони переходять на відео, а заразом і до смерті.

Так, ви переходите на відео або витрачаєте купу грошей на речі, які самі себе не окупають. Тож, думаю, для цього є певні структурні економічні причини, але також вважаю, що небагато інституцій здатні зробити таку довгострокову ставку.

Як ви знаєте, я багато років намагався переконати людей у медіа перейти на YouTube. Ви зі свого боку намагалися відучити їх від YouTube, але я просто вважаю, що це очевидно найважливіша медіаплатформа у світі на цей момент. Це місце, де журналістика історично не посідала центрального становища.

Якщо подивитися на YouTube загалом і спробувати оцінити, яка його частина присвячена тому, що ми з вами вважали б якісною журналістикою, то це мізерна частка всієї екосистеми.

Тож частина моєї місії — просто зламати цю ситуацію й зрозуміти, як працювати з YouTube та відео загалом так, щоб це було сталим з економічного й творчого погляду. А потім просто експериментувати й робити багато різних речей.

Це не обличчя, яке неодмінно має бути на YouTube. Тож я також сподіваюся залучити інших людей і відпрацювати кілька форматів. Але я дивлюся на те, що The Verge зробив там. Дивлюся на те, що зробили такі люди, як Джоанна Стерн і MKBHD. Для мене це дуже захопливо, і це простір, де конкуренція значно менша, ніж у текстах чи подкастах.

Machine Gods — це подкаст, який ви робите в партнерстві з NPR, і про це я хочу поговорити. Але чи вважаєте ви його продуктом для YouTube?

Ми хочемо, щоб він насамперед був відеопродуктом. Це означає, що ми приділятимемо значно більше уваги тому, як він виглядає, ніж робили це раніше. Ми намагатимемося дати людям багато причин не лише слухати, а й дивитися.

Звісно, ми знаємо, що дехто просто не любить відеоподкасти, тому хочемо дати аудиторії аудіо щось приємне. Але саме в цьому напрямку все рухається. Тепер неможливо робити подкаст, не додаючи до нього відео. Тож ми спробуємо по-справжньому це прийняти й створити хорошу версію, яку двоє журналістів середнього віку зможуть зробити на YouTube.

Справжнє майбутнє медіа — це журналісти середнього віку, які переходять на YouTube. Я відчуваю те саме, бо тепер теж роблю більше відео, і саме цим ми займаємося. Буде чудово.

Інша причина піти й зробити це — і, звісно, люди знають, що я також дружу з Кейсі, а ми з вами та ним давно про це говорили — полягає в тому, що історія про ШІ вже тут. Відбувається зміна платформи. У світі з’являються нові компанії, нові персонажі, нові ідеї, про які можна говорити. Кумедно, але зазвичай у такому контексті відбувається й медійний зсув. Те, як ми розповідаємо історії, або формати, у яких ми їх розповідаємо, зазвичай змінюються разом із предметом чи технологією, про які ми говоримо.

А тут YouTube здається найнадійнішим медійним фундаментом із наявних. Це платформа, яка найбільше зберігає свою незмінність, хоча вона змінюється, має YouTube Shorts, а тепер можна A/B-тестувати все, включно з власним обличчям. Але саме вона залишається найстабільнішою. Instagram зазнав величезних змін, і схоже, що це триватиме.

Чи здається вам YouTube найстабільнішим місцем для розвитку, коли ви намагаєтеся розповідати ці нові історії?

Так. Звісно, ніколи не варто складати всі яйця в один кошик. Тому ми також поширюватимемо відео в Apple Podcasts і Spotify та будемо всюди. Але так, платформа здається відносно стабільною.

Я постійно думаю: що знадобилося б, щоб замінити YouTube? Багато компаній намагалися це зробити, але для цього довелося б не лише створити досвід, кращий для авторів і користувачів, а й відтворити весь візуальний корпус людства. Потрібно було б отримати шість мільйонів відео від сантехніків про те, як полагодити кожну окрему раковину, а потім завантажити їх на цю платформу. Це дуже важко витіснити. YouTube настільки вкорінився в житті багатьох людей, що, думаю, він і далі зростатиме.

Ми повернемося до цього, коли говоритимемо про ШІ, але багато років тому я запитав генерального директора Google Сундара Пічаї: «Що ви робитимете, якщо більше не залишиться вебсайтів?» А він приблизно відповів: «У нас є YouTube». І з цим просто неможливо сперечатися. Так, YouTube у вас є. І він лише зростатиме.

Що було для вас найбільш несподіваним у переході від The New York Times до того, що можна назвати економікою творців?

Ми ще зовсім новачки в цьому, але мене здивувало, наскільки мені подобається вся бізнесова частина. Думаю, у журналістиці вас завжди вчать не виходити за межі своєї смуги, а я ніколи раніше не керував бізнесом. Кейсі керував бізнесом. Я знав, що йому це подобається. Але для мене це нові навички, і не все мені до вподоби. Переговори щодо страхових пропозицій для нашого страхування від позовів про наклеп — не те, що мене особливо захоплює. Але в самому керуванні бізнесом щось є. Можливо, у цій історії із засновником.

Так, це хороший час. Кумедно, але в розмовах із вами, Кейсі та Джоанною, яка також щойно пішла й започаткувала власну справу, ця тема часто виникає. З мого погляду, саме тому я так довго цим займаюся. Що станеться, якщо я перестану керувати бізнесом? Схоже, це не вибір. Це майбутнє медіа — взяти під контроль свій бізнес і свою аудиторію. У цьому є щось дуже потужне.

Одна з речей, про які я хочу поговорити, а потім неодмінно детально обговорити книжку, — це аудиторія матеріалів про ШІ, адже я бачу її у двох вимірах. Є група людей, які створюють ці речі, люблять їх і хочуть споживати все, що з ними пов’язано. Є група людей, які по-справжньому їх ненавидять і вважають усе це фальшивкою.

А ще є те, що я назвав би групою посередині, яка розширюється, бо продукти стали кориснішими. На них потрібно дивитися й оцінювати їх такими, якими вони є. Кілька років тому вони були не надто корисними. Обіцянки не відповідали реальності, але тепер щодня ШІ може робити ще одну річ, якої раніше не вмів. Чи йдеться про злам усіх сайтів у світі, залишимо це осторонь, але ШІ може робити те, чого раніше не міг, і аудиторія, схоже, змінюється.

Як ви думаєте про аудиторію Machine Gods і про те, як вона може зростати чи змінюватися?

Зараз ми просто пробуємо багато речей, які, на нашу думку, будуть хорошими, і сподіваємося, що вони знайдуть свою природну аудиторію. Але ви маєте рацію: аудиторія змінюється. Певний час був великий попит на самозаспокоєння — на людей, які казали, що нічого не відбувається, що не потрібно звертати на це увагу, що все це жахливо й шкодить довкіллю.

У деяких частинах інтернету такий попит досі є. На YouTube цього дивним чином іще багато, а Reddit також дуже анти-ШІ. Але думаю, що більшість людей — або принаймні значна їх частина — змирилися з тим, що це не зникне, або захоплені цим фактом. Саме таку аудиторію ми шукаємо.

Ми не намагаємося переконати вас, що ШІ дивовижний і ми житимемо в утопії під владою нового машинного режиму. Але ми також не кажемо, що все це фальшивка, що це жахливо й самостійно зникне, тож нам не потрібно нічого регулювати чи перейматися цим. Кейсі називає це «реалізмом щодо ШІ». Він вважає, що є велика частина людей, яким просто цікаво, які зацікавлені й, можливо, трохи налякані, але їхня реакція на страх — не ховати голову в пісок, а спробувати зрозуміти це явище.

Ми почали відчувати це ще під час роботи над Hard Fork, коли робили щось, що здавалося не зовсім нашим. Наприклад, проводили покроковий навчальний матеріал про Claude Code: пів години просто створювали вебсайт, знімали себе на відео, викладали його — і він чудово працював. Отже, людям явно було цікаво. Навіть якщо всі коментарі під відео писали люди, які ненавиділи ШІ, було очевидно, що є великий попит серед тих, хто просто казав: «Я начебто хочу зрозуміти, що відбувається».

«Я ненавиджу те, що не можу перестати це дивитися» — справжня тема матеріалів про ШІ з різних причин.

Поговорімо про книжку. Думаю, це допоможе сформулювати багато інших моїх запитань. Книжка дуже ретельно підготовлена. Її справді цікаво читати. А її мета, як я чув від вас, — розповісти історію революції глибинного навчання, адже всі ці люди спілкуються лише в Signal і пишуть надзвичайно дитячі твіти.

Розкажіть про цю прогалину, адже це індустрія, одержима документуванням самої себе для комп’ютерів і тим, щоб бути зрозумілою комп’ютерам, але зовсім не іншим людям. Для мене це здається божевіллям. Тож поясніть, як ви готували цю книжку, бо складається враження, що переконати їх бодай розповісти вам, що сталося, було справжньою каторгою.

Так і було. Я написав цю книжку, бо боявся, що все це зникне. Я люблю історію. Мені подобається читати книжки про братів Райт, електрифікацію сільської Америки чи великі винаходи часів революції персональних комп’ютерів. Я дуже люблю такі речі.

Коли читаєш більше подібних книжок, помічаєш, що всі вони спираються на велику кількість сучасних подіям записів і доказів — лабораторні нотатки вчених, які створювали атомну бомбу, листування між братами Райт та їхніми друзями й діловими партнерами. Усе це зберігалося й архівувалося.

Щодня висвітлюючи ШІ, я чітко зрозумів, що для цієї індустрії не буде нічого бодай віддалено подібного, адже, по-перше, усі люди, які створюють ці речі, працюють у приватних компаніях. Вони не державні службовці, які юридично зобов’язані зберігати своє листування. А по-друге, повідомлення в Signal і Slack налаштовані юристами на автоматичне видалення через певний час. Тож із кожним роком буквально відбувалося б масове зникнення цих, як на мене, історично важливих артефактів, моментів та історій.

А по-третє, дослідники надто зайняті, щоб вести нотатки. Усі вони працюють на межі сил, бо намагаються створити машинного бога. Тож я подумав як журналіст, але ще більше — як історик, хоча офіційно ніколи не виконував цієї ролі, але, здається, саме нею займався під час роботи над книжкою: «Я просто мушу це зібрати, бо маю привілейоване місце в першому ряду. Ці люди зі мною розмовляють. Я знаю, що деякі з них сядуть і розкажуть мені свої історії».

Багато матеріалів ми отримували не для публікації, щоб захистити людей від наслідків розмов зі мною. Це була моя спроба гарячково зібрати все й помістити в архів, де майбутні покоління зможуть це вивчати.

Тема, яка найбільше впадає в око під час читання книжки, полягає в тому, що на певному етапі AGI переходить від того, про що всі мріють, до того, що всі мусять створити. Обмеження зникають, і вони кажуть: «Ми повинні це зробити», — а потім щосили рухаються до цієї мети.

Ви конкретно говорите про Google, де змістилося вікно Овертона і люди всередині Google, які вважали все це нездійсненною мрією та дурницею, раптом почали говорити про AGI. Цей момент здається найважливішим моментом в історії ШІ: «Хіба це не було б чудово?» перетворюється на «Нам краще рухатися так швидко, як ми можемо».

Розкажіть про це, бо ця зміна всередині компаній, здається, недостатньо висвітлена.

Так, думаю, це абсолютно правильно. Люди говорили й писали про AGI або про якийсь його попередник, який не називали AGI, але мали на увазі те саме, буквально з часів античності. Особливо після 1950-х років, коли з’явився термін «штучний інтелект». Алан Тюринг писав про мислячу машину, яка могла б робити все, на що здатен людський мозок.

Отже, ця концепція існує давно, але на ринку чи в дослідницьких лабораторіях не було технології, здатної робити те, чого від неї хотіли: сприймати інформацію, навчатися на ній, а потім використовувати це, щоб робити прогнози й діяти у світі. Люди випробували багато різних способів, але жоден не працював особливо добре.

Насправді потрібно було, щоб з’явився трансформер. Це архітектура, яку Google розробив у 2017 році та опублікував, а потім представив, зокрема, OpenAI, яка взяла ідею трансформера й розвинула її. Саме це «T» у сучасному ChatGPT. Але це був—

Десь працівник відділу зв’язків із громадськістю Google щойно вистрибнув із кущів, щоб вручити вам чек.

Вони дуже люблять цю фразу.

Їм подобається, коли ви це кажете. Вони так радіють.

Люблять. Менше їм подобається, коли ви зазначаєте, що, хоча саме вони винайшли цю технологію, вони повністю провалилися зі створенням продукту на її основі — аж поки це не зробила OpenAI.

Але так, це була мрія, до якої не було чого прив’язати. Технології не існувало. А потім з’явилася велика мовна модель, і раптом виникла думка: «Можливо, це саме та річ, яка може нескінченно масштабуватися й удосконалюватися на багато порядків». Саме тоді в OpenAI, а згодом і в Google, спалахнула думка: «Тепер у нас є інструмент, щоб зробити те, що ми завжди хотіли».

У книжці є фраза, де ви просто зазначаєте, що передбачення наступного токена досі не зазнало невдачі — воно робить усе, чого від нього хочуть люди. Звісно, нам довелося розробити навколо нього багато технологій. Є каркаси для роботи агентів, є навчання з підкріпленням, є все це оточення. Але базова технологія масштабувалася.

Я згадую про це тому, що у 2023–2024 роках питав кожного фахівця з ШІ, який приходив на шоу або з’являвся на The Verge , чи можуть це зробити великі мовні моделі. Чи можуть вони виконати те, чого ви від них хочете? Бо на той момент мені не здавалося очевидним, що можуть.

Тепер ми ближче. Вони відкрито говорять про AGI. Ми спостерігаємо, як Muse від Meta ходить своїм маленьким задом інтернетом, коли захоче. Як ви думаєте, чи можуть LLM це зробити? Чи здатні вони дістатися цієї мети?

Думаю, можуть. Я не впевнений у цьому, але досі вони були напрочуд ефективними. Якщо повернутися до перших LLM, то 99 відсотків людей вважали це божевіллям і думали, що технологія не масштабуватиметься. А потім вона продовжувала працювати на кожному етапі, на кожному порядку величини. Я питав людей, що саме в передбаченні наступного токена було явно кращим за все, що існувало до цього. Дехто казав мені, що подібний механізм є і в людському мозку. Є ціла школа думки, згідно з якою те, що відбувається в людському мозку, по суті є передбаченням наступного токена у великому масштабі. Звісно, усе складніше. Це не точні копії одне одного.

Але думаю, що це головна загадка в центрі ШІ: чому передбачення наступного токена настільки надзвичайно ефективне? Думаю, ми не знаємо. Мені здається, це одна з космічних таємниць. Але все це працює тому, що передбачення наступного токена виявляється дуже, дуже, дуже добре узагальнюваним.

Є момент, коли всі ці компанії мусили в це повірити. Даріо Амодеї з Anthropic, звісно, написав свою статтю «Велика брила обчислень», де сказав, що це просто можна зробити. Можна просто дати цій системі дані й обчислювальні потужності — і ми досягнемо мети. Усі інші мусили в цьому переконатися.

Який шлях пройшли всі ШІ-компанії, щоб повірити в це, і чи повністю вони переконані в цьому тепер?

Не думаю, що тепер вони всі повністю в цьому переконані. Вони переконані різною мірою. У Іллі Суцкевера є фраза «Відчуйте AGI», яку в минулі часи він вигукував, ходячи поверхами OpenAI, і нагадував людям відчути AGI. Думаю, лабораторії відчувають AGI різною мірою. Anthropic явно найбільше захоплена AGI, а OpenAI посідає друге місце.

А є Google, якому, на мою думку, завжди було важко відчути AGI. Для цього є багато причин, але це дуже кумедно. Мені подобається розділ книжки про внутрішню боротьбу меморандумів у Google, де працівники просто публікували на внутрішніх дошках повідомлень свої маніфести, а потім критикували маніфести одне одного.

Один дослідник написав меморандум «Кажіть AGI», у якому йшлося про те, що Google — якщо хоче перемогти у сфері ШІ, залучити найкращих технічних фахівців і безпечно розвивати ШІ — мусить визнати, використовуючи термін AGI, що створює не просто набір інструментів для покращення Gmail, документів чи розпізнавання облич на Google Photos. Насправді все це веде до чогось на кшталт інтелекту загального рівня, порівнянного з людським.

А потім хтось одразу написав меморандум: «Не кажіть AGI, це жахливий, ненауковий термін». Вони деякий час обмінювалися такими аргументами, і навіть сьогодні [генеральний директор Google] Сундар Пічаї не вживає слова AGI.

Ні, не вживає.

Деміс Хассабіс каже AGI. Сергій Брін каже AGI. Тож, думаю, усередині Google є фракції: одні вважають це божевіллям і хочуть говорити про ці системи як про вузькоспеціалізовані інструменти, а інші, впливовіші й численніші, кажуть: «Ні-ні-ні, ми створюємо AGI — або принаймні нам краще говорити, що ми створюємо AGI, бо інакше всі наші найкращі люди підуть працювати в OpenAI чи Anthropic».

Думаю, ми з вами пережили однаковий досвід на Google I/O у травні, коли побачили, як Деміс Хассабіс завершив усю презентацію словами: «Ми перебуваємо в передгір’ях сингулярності». А потім ми обоє пішли і взяли інтерв’ю в Сундара та запитали: «Що це означає?» А він відповів: «Так, так, Деміс. Класний хлопець».

[Сміється] Розбирайтеся з Демісом.

Він сказав щось на кшталт: «Який кумедний персонаж, будує тут машинного бога. А тепер дозвольте розповісти вам про нові функції Google Assistant».

Між ними є величезний розрив, який, можливо, пояснює все, що зараз відбувається з Google. Я питаю про це, зокрема, через момент, коли всі вони раптом усвідомили, що мусять якось про це говорити: OpenAI та Anthropic були засновані саме для цього. Їх створили, щоб це сталося.

Але вони не погоджуються щодо того, як це має працювати. Я бачив вас на презентації книжки в Нью-Йорку, і ви сказали, що могли б назвати книжку «До біса того хлопця», бо вони справді ненавидять одне одного.

Це правда.

І все ж здається, що вони мають абсолютно однакову ідею — що можуть досягти мети за допомогою цієї технології. Комерційні імперативи OpenAI та Anthropic дуже відрізняються від комерційних імперативів Google. Зараз, коли ми з вами розмовляємо, мені не очевидно, що вони зможуть досягти AGI раніше, ніж у них закінчаться гроші, збанкрутує CoreWeave або бульбашка загалом дійде якогось іншого висновку щодо стану економіки.

Як ви думаєте, чи релігійна віра в AGI заважає їм вести бізнес? Якби я сьогодні керував Anthropic, логічним рішенням було б сказати: нам слід припинити тренувати нові моделі й продавати вже наявні дуже потужні моделі більшій кількості людей.

Думаю, віра в AGI — це палиця з двома кінцями. З одного боку, якщо ви як генеральний директор передової ШІ-компанії надзвичайно захоплені AGI, вам буде важко перейматися такими речами, як маржинальність інференсу чи пошук наступної групи корпоративних клієнтів. Адже наскільки це нудно порівняно з думкою: «Ми створимо надлюдський машинний інтелект, який приведе нас у майбутнє після сингулярності»?

З іншого боку, думаю, віра є ключовим компонентом успіху в ШІ, адже саме віра та здатність діяти відповідно до неї спонукають робити ризиковані ставки, які можуть принести й справді приносять великі результати.

Пам’ятаєте, як рік тому всі казали: «Боже, OpenAI витрачає стільки грошей на обчислення; як вони взагалі за це заплатять? Чи не перевищує Сем Альтман свої можливості?» Навіть Даріо давав інтерв’ю, де критикував OpenAI за величезні витрати на обчислення.

Минає рік, і OpenAI тепер єдина велика ШІ-компанія, яка не має серйозних обмежень в обчислювальних потужностях. Саме віра, яка змусила Сема та його керівників минулого року ризикнути — можливо, надмірно — з обчисленнями, стала причиною їхнього кращого становища порівняно з Google, Anthropic, Meta чи будь-ким іншим. Тож я не хочу казати, що така сильна віра завжди є недоліком, бо саме вона дає змогу робити ставки, які зрештою окупаються, якщо масштабування продовжує працювати.

Цікаво, бо я міг би інакше сформулювати це рішення OpenAI. У книжці ви дуже виразно пишете про те, що в OpenAI називають «спалахом», коли Сема Альтмана звільнили на 20 хвилин, а потім він повернувся, і це призвело до звільнення багатьох людей з OpenAI.

Це момент, коли OpenAI, за вашим описом, перетворилася з дослідницької компанії на бізнес. Раціональне бізнес-рішення звучало так: «Нам потрібно продавати більше ШІ людям. Треба мати його якомога більше». А Сем відомий як безжальний бізнесмен. Я чув, як його називали майстром найвищого рівня у залученні грошей — це просто неймовірно типова для Кремнієвої долини фраза.

Тож я сприймаю це як бізнесове рішення. Вони позбулися багатьох напрямів, якими займалися. Перейшли до створення корпоративних продуктів на основі ШІ, адже саме там гроші, а потім зрозуміли, що повинні задовольнити цей попит. Ви кажете, що це була ставка на AGI, що для мене звучить як більш ідеалістичний поворот. Як поєднати ці дві речі?

Так, думаю, це безперечно ставка на AGI, тому що Sora, яку вони запустили, витратили на неї багато грошей та обчислювальних ресурсів, а потім закрили, — це цікава іграшка, яка може відкрити новий напрям бізнесу, але не наблизить вас до AGI.

Насправді до AGI наближає запуск рекурсивного самовдосконалення через створення дуже хороших моделей програмування та їхнє повторне спрямування на самих себе. Саме це робила Anthropic. OpenAI минулого року відволіклася на побічні квести й блискучі новинки та почала програвати. Тому OpenAI вирішила скоротити зайве, зосередитися на програмуванні й агентних завданнях із довгим горизонтом. Наразі це провідний шлях до AGI або до того, що прийде після AGI.

Тож так, думаю, це була ставка на збереження ресурсів — не витрачати їх на такі речі, як Sora, а спрямувати на те, щоб наздогнати Anthropic у програмуванні й досягти AGI.

Коли я дивлюся на Даріо Амодеї на Dreamforce поруч із Марком Беніоффом , де він говорить про продаж корпоративного програмного забезпечення, це просто вистава? Я намагаюся поєднати ці речі: вони стали постачальниками корпоративного програмного забезпечення в найреальнішому сенсі. Тепер вони справжні B2B SaaS-компанії, але водночас будують Бога. Ви знаєте цих людей. Це узгоджується? Вони думають: «Тепер я мушу зняти капелюха B2B SaaS і повернутися до вівтаря»?

Думаю, B2B SaaS — це гра, у яку вони зрозуміли, що мусять грати, але не думаю, що це їхня справжня пристрасть. Я розмовляв із Семом Альтманом для книжки, і він сказав, що все це було випадковістю: «Я ніколи не мав керувати величезною технологічною компанією; цього просто не було в планах». Але потім ви прокидаєтеся, а у вас уже тисячі працівників.

У Даріо Амодеї також є дуже кумедний у ретроспективі документ, який він написав у 2021 році, коли вони лише починали компанію. Він називається «Бачення для нової компанії». Можна повернутися до передбачень Даріо щодо AGI: одне з них полягало в тому, що, на його думку, створення повноцінного AGI коштуватиме близько 10 мільярдів доларів. Це, думаю, було заниженням щонайменше на порядок, а можливо, і в кілька разів. Він також вважав, що Anthropic ніколи не потребуватиме більше приблизно 50 людей для досягнення AGI. Тепер там близько 5000 працівників. Тобто помилка знову становила сто разів.

Думаю, сталося так, що цей процес просто триває довше, ніж усі вони очікували, і коштує значно більше, ніж вони передбачали. Корпоративний SaaS — це спосіб підтримувати маховик у русі й оплачувати графічні процесори та зарплати дослідників. Це мінімальна необхідна умова для того, щоб і далі просуватися на передньому краї та рухатися до AGI.

Чи готові вони бути керівниками компаній такого масштабу? Про це я теж думав, читаючи вашу книжку. Вони всі надзвичайно ідеалістичні — настільки, що відокремилися одне від одного й заснували власні компанії, бо не змогли узгодити свої ідеали.

Але ніхто з них не здається чудовим менеджером. Я насправді не знаю, які вони в цьому сенсі, але «вони ідеалісти» та «ми керуватимемо компанією з корпоративного програмного забезпечення» зазвичай не стоять в одному реченні. Як думаєте, чи витримають вони такий тиск?

Ні, але я не думаю, що хтось зміг би. Вони намагаються зробити те, чого не робив ніхто. Люди створювали компанії. Люди швидко створювали компанії. Але ніхто не перетворював нуль доходу на потенційне IPO вартістю 2 трильйони доларів за п’ять років. Такого ще не траплялося. Тож, думаю, вони намагаються зібрати літак у польоті, поки той мчить до горизонту подій, але роблять це приблизно так добре, як тільки можливо.

Я не думаю, що їм варто запрошувати професійного генерального директора з Coca-Cola для керування компанією. Мені здається, усе просто розвалилося б, бо вони фанатики й місіонери. Вони всі вірять, що будують [AGI] — не всі, звісно: можливо, у відділі продажів SaaS є люди, які просто прийшли заради зарплати, — але багато ключових працівників цих компаній об’єднує віра в те, що вони створюють AGI.

Нещодавно одна людина, не скажу хто, з однієї з цих компаній сказала мені, що вважає їхню компанію, можливо, останньою компанією. Я подумав: «Останньою компанією, яка цього року вийде на IPO? Що ви маєте на увазі?» А вона відповіла: «Ні, ми думаємо, що це може бути телеологічним кінцем капіталізму, і, можливо, більше не буде великої компанії, якою переважно керують люди».

Отже, ці люди дивні — дивні в тривожний, але водночас дуже цікавий спосіб. Саме це я намагався зробити в книжці. Я не хотів казати, що ці люди жахливі чи чудові. Просто потрібно знати, хто вони. Потрібно знати, що всі вони ненавидять одне одного. Потрібно знати, що це своєрідна порода мислителів, щоб зрозуміти динаміку цієї гонки.

У певній частині книжки ви розповідаєте, як люди відходили від ефективного альтруїзму, щоб стати прискорювачами, і там є жінка, яка каже: «Ну, у прискорювачів кращі вечірки, і мені більше подобається ця атмосфера». Я подумав: «А до чого це має стосунок до потенційного винищення всіх?»

Але вони дуже людяні, хоча намагаються створити щось, що зрештою може по-різному позбавити всіх нас людяності. Який висновок ви зробили з цього під час роботи над матеріалом?

Екзистенційний ризик нависає над книжкою, нависає над індустрією. Щоразу, коли ми випускаємо епізод про це, аудиторія питає: «Чому вони просто не зупиняться?» Білл Гейтс нещодавно був у Decoder і сказав: «Якби ви були єдиною компанією, ви могли б просто зупинитися. Якби ви думали, що будете єдиною компанією з AGI, модель OpenAI спрацювала б. Але щойно з’являється більше передових компаній, вона абсолютно не працюватиме. До речі, вони можуть усіх вас убити». Я подумав: «Схоже, Білл Гейтс зараз зовсім не оптимістично налаштований».

Ні, не налаштований.

Що ви думаєте про те, що вони рухаються вперед, хоча знають, наскільки великими є ризики, і водночас немає жодного регуляторного органу, який міг би змусити їх розв’язати ці проблеми?

Думаю, є, мабуть, дві чи три причини. Я запитував їх усіх. Для книжки я поговорив приблизно зі 150 людьми й поставив кожному в тій чи іншій формі запитання: «Якщо це так небезпечно, навіщо ви це робите?» Відповіді зазвичай починалися з фаталізму — не знаю, можна назвати це неминучизмом. Вони казали: «Хтось це створить. Рецепт не такий уже складний. Потрібні лише багато обчислень, багато даних і правильні алгоритми — і ви отримаєте AGI. Якщо це можливо, це станеться, і краще, щоб це зробили ми, а не люди, яким ми довіряємо менше». Це перша причина — аргумент зменшення шкоди.

Потім є справжні віруючі, які кажуть: «Усе закінчиться чудово, якщо ми пройдемо між крапельками й зможемо створити це, не знищивши людство, не зруйнувавши весь інтернет і не розробивши нові біологічні види зброї».

Упродовж історії технології зазвичай були силою добра. Не думаю, що багато людей хотіли б помінятися життям зі своїми прапрадідами. Бути фермером натурального господарства було жахливо. Думаю, є люди, які вважають, що сьогодні ми є еквівалентом таких фермерів, а майбутнє буде настільки чудовим, що ми захочемо жити в тому світі.

А є просто люди, які кажу