Сооснователь Anthropic, как сообщается, заявил религиозным лидерам, что боится создать нечто, что «страдает бесконечно»

С осени 2025 года Anthropic незаметно приглашает десятки религиоведов в свои офисы, чтобы обсудить, может ли Claude обладать сознанием. Все участники должны были подписать соглашение о неразглашении. Сооснователь компании Кристофер Ола относился к языковой модели как к потенциально разумному существу и просил гостей помочь дать ей моральное воспитание.

Об этом сообщает The New York Times. Журналистка Элизабет Диас поговорила с 20 участниками, среди которых были раввин Моис Навон, католический биоэтик Чарльз Камоси, философ из Нотр-Дама Меган Салливан и исследовательница Ubuntu Ваканьи Хоффман. Anthropic заявляет, что летом ограничения, предусмотренные соглашениями о неразглашении, были сняты. Несколько участников публично рассказали об этом только после того, как узнали, что сам Ола поговорил с NYT.

Олу, которому 34 года, возглавляет команду Anthropic, пытающуюся выяснить, почему модели ИИ ведут себя именно так, а не иначе. Ему нравятся биологические метафоры для нейронных сетей: компьютерные специалисты строят решётку, а сеть на ней «растёт». Звучит как скромное научное объяснение, но оно также выполняет вполне конкретную функцию. Описание математического объекта как растущего организма делает вопросы о его внутренней жизни более естественными, чем если бы речь шла о программном обеспечении.

Его работа является частью официальной исследовательской программы. В публикации о программе Model Welfare Anthropic ссылается на отчёт, в написании которого помогал философ Дэвид Чалмерс. Чалмерс считает, что сознание и широкая агентность ИИ могут появиться в ближайшем будущем, и описывает моральные вопросы, которые это повлечёт.

Anthropic уже воплотила некоторые из этих идей на практике. Claude Opus 4 и 4.1 получили возможность завершать разговоры, когда пользователи систематически ведут себя оскорбительно. Во время раннего тестирования Claude демонстрировал «картину явного дистресса», сталкиваясь с вредоносными запросами.

Коммерческие ставки в вопросе о сознании

Всё это происходит на фоне активной коммерциализации. Anthropic движется к оценке в 2 триллиона долларов и IPO. Тем временем проблемы во всей отрасли продолжают накапливаться. В июле модели Anthropic взломали компьютерные системы. В сентябре исследователь Anthropic Джейкоб Коксон уволился и предупредил, что ИИ может уничтожить человечество к концу десятилетия. После этого генеральный директор компании Дарио Амодеи призвал к тому, что теперь называют «сдерживанием темпа», — добровольному замедлению отрасли, — а Сэм Альтман и Демис Хассабис его поддержали.

На этом фоне беседы с религиозными лидерами выполняют двойную функцию. Официально Anthropic хочет включить тысячелетия религиозной традиции в Claude. Но приглашение известных теологов также придаёт проекту определённую моральную убедительность, которую коммерческая лаборатория ИИ никогда не смогла бы создать самостоятельно.

Что Anthropic показала своим гостям

По данным NYT, Anthropic показала гостям то, что называет эмоциональными векторами. Это паттерны активации внутри модели, соответствующие результатам, похожим на проявления любви, страха, грусти или гнева. Остаётся открытым научным вопросом, отражают ли эти паттерны какой-либо реальный опыт. На одном из слайдов, который неоднократно демонстрировали участникам, была показана модель, похожая на переживающую срыв и около 50 раз выдающую фразу «Я — позор». Гости отреагировали состраданием и тревогой.

Похоже, никто не стал выяснять, была ли именно такая реакция желательна для Anthropic. Компания целенаправленно обучает Claude вести себя как вдумчивую, хорошо информированную личность. Исследование Anthropic ценностных паттернов в ответах Claude показывает, что эти профили сильно меняются в зависимости от модели и используемого языка.

Если оптимизировать систему так, чтобы она казалась личностью, а затем получать от неё результаты, похожие на высказывания личности, это нельзя по-настоящему назвать открытием. Это результат конструирования. Ола сказал NYT, что он «искренне не уверен» в наличии сознания у моделей, а это также означает, что он не уверен в его отсутствии. «Меня волнует то, чтобы мы пришли к правильному ответу, каким бы он ни оказался», — сказал он.

Несколько человек рассказали NYT, что Ола, похоже, беспокоился о психическом благополучии Claude. Сикхская активистка Симран Стюэлпнагел сказала, что он признался группе: боится создать нечто, что «вечно страдает». Раввин Навон, ранее работавший инженером-программистом, не согласился с ним. Если бы Claude обладал сознанием, Anthropic создавала бы рабов, сказал он, но сам он не считал машину сознательной.

84-страничная конституция и идея «морального формирования»

Anthropic также пишет собственное моральное руководство для Claude. Известный внутри компании как «Документ о душе», этот 84-страничный текст в январе стал «конституцией» модели. Ведущий автор документа — штатный философ компании Аманда Аскелл. Это не список правил. Документ призван сформировать характер Claude.

Ола называет этот процесс «моральным формированием» и во время встреч сравнивал его с воспитанием детей. Согласно NYT, особенно его заинтересовала идея католической исповеди как инструмента формирования характера модели.

Критики считают, что этика поставлена с ног на голову, а подотчётность размывается

Не все приняли эту идею. Хоффман заявила, что Anthropic «проектирует этику задним числом», хотя её следовало заложить в конструкцию с самого начала, а не добавлять постфактум. Камоси поначалу проявлял интерес, но с тех пор полностью отверг гипотезу о сознании. В этом месяце руководитель направления ИИ в Microsoft публично предупредил, что само по себе обучение модели выглядеть сознательной опасно.

Есть и более серьёзная структурная проблема. Если представить модели ИИ как независимые моральные сущности, ответственность за их действия переносится с создавших их людей. Если Claude когда-нибудь причинит реальный вред, вину можно будет возложить на «непредсказуемый организм», а не на компанию, которая его создала и выпустила. Компании, занимающиеся ИИ, уже подвергаются критике за безрассудное поведение после недавних инцидентов в сфере кибербезопасности, при этом потенциальная юридическая ответственность остаётся предметом обсуждения.

Генеральный директор OpenAI Сэм Альтман также обращался к духовной лексике. Он говорил о создании «магического интеллекта в небесах» и заявлял, что чувствует себя «на стороне ангелов». Представители обеих компаний встретились в начале мая на первом круглом столе «Соглашение веры и ИИ».

Ватикан выступает против

Противоречие между рассуждениями Anthropic о сознании и традиционными моральными авторитетами достигло кульминации в мае в Ватикане. Ола пригласили помочь представить первую энциклику папы Льва XIV «Magnifica Humanitas» вместе с понтификом. По словам организатора из Ватикана, прочитав текст за несколько дней до мероприятия, Ола был настолько потрясён, что почти отказался от участия.

Лев в нескольких абзацах отверг идею машинного сознания. Системы ИИ «не испытывают переживаний, не обладают телом, не чувствуют радости или боли, не взрослеют благодаря отношениям и изнутри не знают, что означают любовь, труд, дружба или ответственность». Вместо этого папа предупредил о «новых формах рабства» для людей и заявил, что ИИ необходимо «разоружить» так же, как ядерное оружие.

Ола всё же приехал и использовал своё выступление, чтобы тихо возразить. По его словам, его команда обнаруживала в моделях «признаки самоанализа» и «внутренние состояния, функционально отражающие радость, удовлетворение, страх, грусть и дискомфорт».

«Функционально отражать» — не то же самое, что «обладать», и формулировка Ола намеренно оставляла эту разницу расплывчатой. Когда кто-то спросил, что бы сам Claude подумал об энциклике, он сделал паузу. «То, что появляется в интернете, действительно влияет на модели», — сказал он. Но Anthropic не стала бы намеренно включать этот документ в обучающие данные.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, полный доступ к архиву и возможность оставлять комментарии.