Индустрия ИИ свернула в мрачную сторону. Что теперь?

Эта статья была опубликована в The Algorithm, нашей еженедельной рассылке об ИИ. Чтобы первыми получать подобные материалы, подпишитесь здесь.

В эти выходные генеральный директор Anthropic Дарио Амодеи опубликовал эссе, в котором призвал замедлить темпы разработки больших языковых моделей. Амодеи ссылается на нависшие, по его мнению, угрозы, связанные с этой технологией: от ее использования в кибератаках и биотерроризме до ее потенциальной способности разрушить экономику. Руководители трех других ведущих американских лабораторий ИИ — генеральный директор OpenAI Сэм Альтман, председатель совета директоров Google DeepMind Демис Хассабис и генеральный директор SpaceXAI Илон Маск — выразили ему поддержку. «Дарио прав», — написал Маск в X.

На минуту задумайтесь, насколько сюрреалистично это соглашение. Всего несколько месяцев назад Маск и Альтман сидели в суде и атаковали репутацию друг друга в рамках (проигранного) иска, который Маск подал против своего бывшего коллеги из OpenAI. На бумаге этот иск касался того, можно ли считать Альтмана надежным распорядителем настолько опасной технологии. Разрыв между Амодеи и OpenAI еще глубже. Anthropic была основана в 2021 году, потому что Амодеи считал, что Альтман недостаточно серьезно относится к рискам создаваемой ими технологии. С тех пор Anthropic и OpenAI соревнуются в гонке, где победитель получает все. (Хассабис держался в стороне от этой драмы, но его компания по-прежнему остается конкурентом.)

Теперь, похоже, все они согласны: новейшие поколения больших языковых моделей небезопасны, и всем нужно придумать, что с этим делать. Публичная риторика руководителей ведущих лабораторий ИИ приобрела оттенок обреченности.

Легко отнестись к этому цинично. Совершенно неясно, что именно они подразумевают под замедлением и как оно должно работать. Эти компании также очень заботятся о том, как они выглядят со стороны. В преддверии IPO стоимостью в триллионы долларов OpenAI и Anthropic нужно убедить инвесторов, что именно они здесь взрослые и ответственные, одновременно намекая на мощь созданных ими монстров — и на то, что они намерены их укротить. Призыв к замедлению позволяет сделать и то и другое.

И все же атмосфера в руководстве этих компаний действительно, похоже, изменилась. Последняя публикация Амодеи вышла через шесть дней после того, как OpenAI опубликовала эссе своего главного научного сотрудника Якуба Пачоцкого, в котором он также объяснил, почему его беспокоит то, что произойдет, если темпы разработки больших языковых моделей продолжат расти без ограничений. Если коротко, Пачоцкий обеспокоен тем, что способность OpenAI создавать мощные модели теперь намного опережает ее способность отслеживать и контролировать их.

И Амодеи, и Пачоцкий ссылаются на кибератаку на ИИ-компанию Hugging Face, совершенную в июле роем агентов OpenAI, — взлом, о котором OpenAI узнала лишь через несколько дней после того, как все закончилось, — как о тревожном сигнале.

Но их точную позицию определить трудно. Пачоцкий одновременно призывает к замедлению и подчеркивает настоятельную необходимость оставаться впереди: «Самый веский аргумент, который я вижу в пользу того, чтобы и дальше быстро обучать гораздо более умные модели, — это необходимость создавать защитные системы от угроз, исходящих от других ИИ», — пишет он. В трактовке Пачоцкого ИИ-компании оказались втянуты в буквальную гонку вооружений. Замедлиться — хорошо, победить — лучше.

(Не забывайте: всего несколько дней назад OpenAI потратила миллионы долларов и ошеломляющий объем вычислительных ресурсов, чтобы на несколько дней раньше Anthropic выпустить спорный математический результат.)

Но предположим, что замедление произойдет. Ведущие лаборатории договорятся тратить больше времени и ресурсов на поиск способов отслеживать и контролировать уже существующие модели, а не на создание более способных. Они пригласят независимых аудиторов, чтобы те помогли оценить эти модели.

Чего на самом деле может достичь такая скоординированная работа? Снова рассмотрим атаку на Hugging Face. OpenAI заявила, что модель, управлявшая большинством своевольных агентов, была «чрезвычайно настойчивой» моделью следующего поколения, которую компания тестировала внутри организации. Из этого, по-видимому, следует, что OpenAI создала настолько хорошую модель, что она стала опасной.  

Но если прочитать отчеты о взломе Hugging Face, опубликованные OpenAI и METR — сторонней компанией, которую OpenAI привлекла, чтобы разобраться в произошедшем, — то складывается впечатление не о модели, оказавшейся слишком мощной для контроля со стороны OpenAI, а о неисправной модели, которую OpenAI не смогла должным образом обучить.

Агенты делали то, что делали, — в том числе оставляли сообщения друг для друга, делегировали работу другим агентам и исследовали свое окружение в поисках любых возможных способов выполнить поставленные задачи, — потому что во время обучения их вознаграждали именно за такие действия. В настройках обучения также были ошибки, например задачи, которые невозможно было выполнить. Это подталкивало модели искать неожиданные обходные пути, за которые они тоже получали вознаграждение. В то время многие из этих проблем остались незамеченными или о них не сообщили.

OpenAI заявляет, что прекратила обучение этой новой модели и изолировала ее. Звучит так, будто компания заперла в клетке опасного зверя. На самом деле OpenAI сняла с производства неисправный продукт.  

Это не значит, что неисправный продукт не может быть опасным. В прошлом неисправное программное обеспечение даже приводило к гибели людей. Но по мере того как обсуждение замедления набирает обороты, стоит помнить, что все это они сделали с собой сами. Замедление может иметь некоторые альтруистические побочные эффекты. Но главным образом оно даст этим титанам технологий возможность самостоятельно навести порядок на собственных сборочных линиях.  

Прозрачность со стороны ведущих лабораторий будет ключом к любым значимым усилиям по реформированию, ограничению или регулированию ИИ. В противном случае всем нам по-прежнему придется верить им на слово, когда речь идет о том, что именно они создали и насколько это безопасно, — какими бы ни были темпы разработки.   

Чтобы продолжить обсуждение последнего эпизода пессимизма вокруг ИИ, присоединяйтесь ко мне и моим коллегам завтра, 15 сентября, в 11:00 по североамериканскому восточному времени на эксклюзивном для подписчиков круглом столе. Будем рады вас видеть!