Anthropic предлагает законопроект о безопасности ИИ, который может заблокировать модель, если из-за неё могут погибнуть 50+ человек

В течение последнего года не утихают опасения по поводу потенциальных опасностей, связанных с искусственным интеллектом, а споры о правильном подходе к безопасности ИИ не прекращаются. Теперь, похоже, Anthropic представила собственное видение того, как правительству следует регулировать эту отрасль.

Politico недавно сообщило, что лаборатория ИИ распространяет новый проект закона о безопасности ИИ, который, как она надеется, Конгресс может рассмотреть и принять. Законопроект предусматривает определённые сценарии, при которых распространение модели ИИ может быть заблокировано.

Эти сценарии связаны с «предсказуемым, непосредственным риском» — ситуацией, в которой под угрозой гибели находятся более 50 человек или может быть нанесён ущерб имуществу на сумму свыше миллиарда долларов, пишет Politico. По данным издания, катастрофический риск должен «возникать в результате создания или выпуска биологического оружия, уклонения модели от средств контроля разработчика или кибератаки».

Предложенные здесь показатели — 50 человек и миллиард долларов — схожи с показателями в законодательном акте штата Калифорния, недавно ставшем законом, законопроекте Сената № 53, который аналогичным образом определял такие сценарии как равнозначные «катастрофическому риску».

Законопроект Anthropic предполагает, что оценку потенциальной способности модели привести к катастрофе можно будет проводить с помощью «независимых оценщиков», зарегистрированных в Министерстве торговли США. Потенциально этим оценщикам могут платить сами лаборатории ИИ — при условии, что «выплата не зависит от результатов оценки», пишет Politico.

Неясно, как предлагаемая система гарантировала бы, что выплаты не смогут повлиять на оценку. Несколько месяцев назад председатель DeepMind Демис Хассабис предположил, что саморегулирующийся орган по регулированию ИИ должен подражать Управлению по регулированию финансовой индустрии (FINRA).

Согласно проекту закона Anthropic, если оценщики определят наличие неминуемого катастрофического риска, у них будет 72 часа, чтобы уведомить об этом Министерство торговли. Затем Министерство торговли должно будет обратиться к судье в Вашингтоне, округ Колумбия, с просьбой приостановить выпуск модели. Законопроект прямо запрещает любому федеральному ведомству самостоятельно принимать решение о приостановке распространения модели, пишет Politico.

Anthropic не сразу ответила на запрос TechCrunch о комментарии, однако представитель компании подтвердил Politico существование законопроекта. «Этот законопроект отражает предложения, изложенные в Расширенной концепции Anthropic в отношении ИИ, продвижением которых мы занимаемся среди федеральных законодателей и законодателей штатов с июня», — сказал представитель.

Теоретические риски, описанные в проекте политики, несколько отличаются от инцидентов, которые в последнее время особенно беспокоят технологическую отрасль. Хотя есть люди, предупреждающие о потенциальной возможности гибели людей, главным предметом обеспокоенности в основном стала угроза взлома с помощью автономных ИИ-агентов. Череда инцидентов, в которых ИИ-программы, по всей видимости, ослушались своих операторов и взломали веб-сайты в открытом интернете, вызвала опасения, что модели могут быть лишены надлежащих средств контроля безопасности.

Пытаясь предложить решение кризисной ситуации, которую помогли создать сами лаборатории, такие компании, как Anthropic, выдвигают собственные предпочтительные варианты решения.

Действительно, несмотря на постоянные предупреждения лабораторий о том, что продаваемая ими технология может привести к гибели человеческой цивилизации, они в основном сопротивляются обязательному государственному надзору. Вместо этого они предлагают добровольную систему встроенных оценщиков — якобы «нейтральных» сторонних наблюдателей, которых размещают внутри организаций, занимающихся ИИ, чтобы они могли отслеживать модели на предмет возможных признаков риска или злоупотреблений.

Тем не менее сама идея Anthropic предложить закон, похоже, идёт несколько дальше регуляторных предложений других представителей отрасли, включая Nvidia, генеральный директор которой Дженсен Хуанг недавно заявил, что индустрии ИИ вообще не нужны новые законы.