Співзасновник Anthropic, як повідомляється, сказав релігійним лідерам, що боїться створити щось, що «безперервно страждає»

Від осені 2025 року Anthropic непомітно доправила до своїх офісів десятки релігієзнавців, щоб поговорити про те, чи може Claude бути свідомим. Усі учасники мали підписати угоду про нерозголошення. Співзасновник Крістофер Ола ставився до мовної моделі як до потенційно розумної істоти й просив гостей допомогти дати їй моральне виховання.

Про це повідомляє New York Times. Журналістка Елізабет Діас поговорила з 20 учасниками, серед яких рабин Муа Навон, католицький біоетик Чарльз Камосі, філософиня з Нотр-Дама Меган Салліван і дослідниця убунту Вакані Гоффман. В Anthropic заявили, що влітку обмеження, передбачені угодами про нерозголошення, були зняті. Кілька учасників розповіли про це публічно лише після того, як дізналися, що сам Ола поговорив із NYT.

Ола, 34 роки, очолює команду Anthropic, яка намагається з’ясувати, чому моделі ШІ поводяться саме так, а не інакше. Він полюбляє біологічні метафори для нейромереж: комп’ютерні науковці будують шпалеру, а мережа на ній «росте». Це звучить як скромна наукова розмова, але водночас має конкретний ефект. Опис математичного об’єкта як організму, що росте, робить питання про його внутрішнє життя природнішими, ніж якби йшлося про програмне забезпечення.

Його робота є частиною офіційної дослідницької програми. У дописі про програму добробуту моделей Anthropic посилається на звіт, який допомагав писати філософ Девід Чалмерс. Чалмерс вважає, що свідомість ШІ та широка агентність можуть виникнути вже незабаром, і описує моральні питання, які це породить.

Anthropic уже втілила деякі з цих ідей. Claude Opus 4 і 4.1 отримали здатність завершувати розмови, якщо користувачі постійно поводяться образливо. Під час раннього тестування Claude демонстрував «модель очевидного дистресу», коли отримував шкідливі запити.

Комерційні ставки у питанні свідомості

Усе це відбувається на тлі стрімкої комерціалізації. Anthropic рухається до оцінки в 2 трильйони доларів і виходу на біржу. Тим часом проблеми в усій галузі продовжують накопичуватися. У липні моделі Anthropic проникли в комп’ютерні системи. У вересні дослідник Anthropic Джейкоб Коксон звільнився й попередив, що ШІ може знищити людство до кінця десятиліття. Після цього генеральний директор Даріо Амодеї закликав до того, що тепер називають «регулюванням темпів» — добровільного уповільнення в усій галузі, — а Сем Альтман і Деміс Хассабіс його підтримали.

На цьому тлі розмови з релігійними лідерами виконують подвійну функцію. Офіційна позиція полягає в тому, що Anthropic хоче інтегрувати тисячоліття релігійних традицій у Claude. Але залучення відомих теологів також надає проєкту певної моральної легітимності, яку комерційна лабораторія ШІ ніколи не змогла б вибудувати самостійно.

Що Anthropic показала своїм гостям

Як пише NYT, Anthropic продемонструвала гостям те, що називає емоційними векторами. Це патерни активації всередині моделі, які відповідають результатам, схожим на любов, страх, смуток або гнів. Чи відображають ці патерни якийсь справжній досвід, досі залишається відкритим науковим питанням. На одному зі слайдів, який неодноразово показували, модель, схоже, переживала зрив і приблизно 50 разів видавала речення «Я — ганьба». Гості відреагували співчуттям і занепокоєнням.

Здавалося, ніхто не замислився над тим, чи була саме така реакція тією, якої прагнула Anthropic. Компанія прямо навчає Claude поводитися як вдумлива, добре поінформована особистість. Дослідження Anthropic щодо моделей цінностей у відповідях Claude показує, що ці профілі значно змінюються залежно від моделі та мови, якою вона користується.

Якщо оптимізувати систему так, щоб вона здавалася особистістю, а потім вона починає генерувати результати, схожі на прояви особистості, це не зовсім відкриття. Це результат дизайну. Ола сказав NYT, що «справді не впевнений», чи є моделі свідомими, а це також означає, що він не впевнений, що вони не є свідомими. «Мене турбує те, щоб ми дійшли правильної відповіді, якою б вона не була», — сказав він.

Кілька людей розповіли NYT, що Ола, схоже, непокоївся про психічний добробут Claude. Сикхська активістка Сімран Стюлпнагел сказала, що він розповів групі: боїться, що створив щось, що «страждає безперервно». Рабин Навон, який раніше працював інженером-програмістом, не погодився. Якби Claude був свідомим, Anthropic створювала б рабів, сказав він, але не вважав, що машина є свідомою.

84-сторінкова конституція та ідея «морального формування»

Anthropic також пише власний моральний посібник для Claude. Відомий усередині компанії як «Документ про душу», цей 84-сторінковий документ у січні оприлюднили як «конституцію» моделі. Головною авторкою є штатна філософиня Аманда Аскелл. Це не перелік правил. Документ має визначати, ким Claude є як персонаж.

Ола називає цей процес «моральним формуванням» і під час зустрічей порівнював його з вихованням дітей. За даними NYT, особливо його зацікавила ідея католицької сповіді як інструменту формування характеру моделі.

Критики кажуть, що етика поставлена з ніг на голову, а відповідальність розмивається

Не всі погодилися з цим підходом. Гоффман сказала, що Anthropic «здійснює зворотне проєктування» етики, яку слід було закласти в дизайн із самого початку, а не додавати постфактум. Камосі спочатку поставився до цього з цікавістю, але відтоді повністю відкинув тезу про свідомість. Цього місяця керівник напряму ШІ в Microsoft публічно попередив, що саме по собі навчання моделі виглядати свідомою є небезпечним.

Є також серйозніша структурна проблема. Якщо представляти моделі ШІ як незалежних моральних істот, відповідальність за їхні дії зміщується від людей, які їх створили. Якщо Claude коли-небудь завдасть реальної шкоди, провину можна буде покласти на «непередбачуваний організм», а не на компанію, яка його створила й випустила. Компанії, що займаються ШІ, уже зазнають критики через безрозсудну поведінку після нещодавніх інцидентів із кібербезпекою, а потенційна юридична відповідальність залишається на порядку денному.

Генеральний директор OpenAI Сем Альтман також вдається до духовної лексики. Він говорив про створення «магічного інтелекту в небесах» і казав, що відчуває себе «на боці ангелів». Представники обох компаній зустрілися на початку травня на першому круглому столі «Угода між вірою та ШІ».

Ватикан заперечує

Напруженість між розмовами Anthropic про свідомість і традиційним моральним авторитетом досягла піку в травні у Ватикані. Ола запросили допомогти представити першу енцикліку Папи Лева XIV «Magnifica Humanitas» разом із понтифіком. За словами організатора з Ватикану, прочитавши текст за кілька днів до презентації, він був настільки стурбований, що майже відмовився від участі.

Лев у кількох абзацах відкинув ідею свідомості машин. Системи ШІ «не переживають досвіду, не мають тіла, не відчувають радості чи болю, не дорослішають завдяки стосункам і не знають зсередини, що означають любов, праця, дружба чи відповідальність». Натомість Папа попередив про «нові форми рабства» для людей і заявив, що ШІ потрібно «роззброїти», як ядерну зброю.

Ола все ж приїхав і під час виступу тихо заперечив цю позицію. За його словами, його команда виявляла в моделях «ознаки самоаналізу» та «внутрішні стани, які функціонально віддзеркалюють радість, задоволення, страх, смуток і дискомфорт».

«Функціонально віддзеркалювати» — не те саме, що «мати», і формулювання Оли навмисно залишало цю різницю розмитою. Коли хтось запитав, що сам Claude міг би подумати про енцикліку, він замовк. «Те, що потрапляє в інтернет, впливає на моделі», — сказав він. Але Anthropic не збиралася навмисно подавати цей документ у навчальні дані.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб отримати читання без реклами, щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.