Бывший исследователь DeepMind считает, что подход AlphaGo может избавить ИИ от галлюцинаций

Бывший исследователь DeepMind Торе Грепель хочет создать системы ИИ, которые отслеживают, что им известно, и проверяют каждый вывод по имеющимся доказательствам. По словам его команды, более крупные языковые модели не решат эту проблему.

Торе Грепель считает, что та же идея, благодаря которой AlphaGo победила профессионального игрока в го Ли Седоля в 2016 году, может сделать системы ИИ, в том числе роботов, более надежными. Бывший исследователь DeepMind основал Metis Reasoning и представил этот подход на конференции Nvidia GTC в Берлине, где производитель чипов расширяет свою платформу для робототехники и физического ИИ, стремясь превратить проблему данных в робототехнике в вычислительную проблему.

Реестр знаний вместо знаний, зашитых в веса модели

По словам Metis, современные языковые модели представляют собой лишь сеть предсказания AlphaGo, которая предлагала возможные ходы. AlphaGo сочетала эту сеть с систематическим поиском по последовательностям ходов и нашла знаменитый ход 37 — ход, вероятность которого сеть оценила бы для человека примерно как один к десяти тысячам. Metis хочет перенести такой поиск на задачи общего рассуждения.

Для этого требуется то, что в документе компании называется явным реестром знаний, сопоставимым с игровым полем. Подобные идеи уже существуют: GraphRAG от Microsoft организует знания вне весов модели в графе знаний, а AlphaGeometry2 от Google объединяет языковую модель с символьным движком, проверяющим математические доказательства. Metis хочет распространить эти принципы на открытые вопросы реального мира.

В ее реестре знаний фиксируется, что известно, насколько система уверена в этом и какие вопросы остаются открытыми. Отдельный модуль проверяет новые записи с помощью вычислений, формальных доказательств или эмпирических данных, а когда какое-либо допущение отпадает, все зависевшие от него выводы проходят повторную оценку. «Ходом» может быть вопрос, эксперимент или проверка существующего допущения; система выбирает то, что сильнее всего уменьшает неопределенность исходного вопроса, и в итоге выдает либо ответ, либо обоснованный отказ от ответа.

Как и в AlphaGo, две нейронные сети предлагают и оценивают ходы; они обучаются на зафиксированных предыдущих исследованиях, но не могут отменять правила проверки. По словам Metis, такая конфигурация должна привести к меньшему числу галлюцинаций, объяснениям с цитатами источников и знаниям, которые можно изменять или удалять без повторного обучения. Поскольку рассуждение разбивается на небольшие шаги, подход также может отдавать предпочтение небольшим моделям, работающим на периферийных устройствах и в роботах.

Компании по-прежнему недостаточно доверяют языковым моделям, чтобы внедрять их

Большее количество данных и вычислительных ресурсов улучшает языковые модели, но не устраняет фундаментальные проблемы технологии, утверждает Metis: модели выдумывают ответы, цепочки их рассуждений невозможно проверить, а знания заперты внутри весов. Галлюцинации возникают из-за самого процесса обучения, утверждается в документе, поскольку модели учатся выдавать правдоподобный текст, а не истинный, и даже цепочки рассуждений в современных моделях рассуждения часто не показывают как именно был получен ответ.

Именно поэтому, говорится в документе, экономическое влияние ИИ до сих пор остается незначительным. Когда агент действует от имени компании, трудно отследить источник ошибок, а ошибочные знания невозможно удалить из модели. ИИ получил широкое распространение в разработке программного обеспечения, поскольку код легко тестировать и откатывать, но в медицине, финансах, разработке чипов и робототехнике, утверждается в документе, ИИ должен быть проверяемым с самого основания.

В техническом документе описывается лишь исследовательская программа: работающей системы, тестов и сравнений с современными моделями рассуждения нет. Команда признает, что реальный мир, в отличие от го, предоставляет лишь частичную информацию, что получение доказательств может быть дорогостоящим, а у некоторых вопросов попросту нет ответа. Главный открытый вопрос заключается в том, как будет выглядеть проверенный реестр знаний в сложных областях, выходящих за рамки учебных примеров, учитывая, что символьные системы ИИ в свое время потерпели неудачу именно потому, что все их знания приходилось вводить вручную.

После Сильвера и Роктешеля еще один ветеран DeepMind начинает самостоятельный путь

Согласно его сайту, Грепель получил докторскую степень по машинному обучению в Берлине в 2001 году. В Microsoft Research он помог создать TrueSkill — систему подбора игроков, лежащую в основе Xbox Live. Затем он перешел в DeepMind, где работал над AlphaGo, AlphaZero и MuZero. После периода работы в Altos Labs он в последнее время входил в команду Google DeepMind по вопросам пост-AGI, которую покинул летом. Он также занимает кафедру машинного обучения в Университетском колледже Лондона. По данным Bloomberg, Грепель привлекает для Metis раунд на сумму в несколько десятков миллионов долларов; уже готовится и следующий раунд на несколько сотен миллионов долларов при более высокой оценке.

Он стал последним из архитекторов наиболее известных прорывов DeepMind, кто решил создать собственный проект за пределами Google. Бывший коллега Дэвид Сильвер основал Ineffable Intelligence и закрыл крупнейший посевной раунд среди европейских стартапов. Тим Роктешель стал сооснователем Recursive, стоимость которой теперь оценивается в 4,65 млрд долларов. Другие сразу переходят к конкурентам. По данным Financial Times, DeepMind распустила команду, создавшую AlphaFold, а лауреат Нобелевской премии Джон Джампер ушел в Anthropic вместе с двумя коллегами. CNBC связывает отток талантов отчасти с ограниченным внутренним доступом к TPU-чипам Google и бюрократией, в то время как сама DeepMind теряет независимость, а основатель Демис Хассабис отошел от повседневного управления.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ и эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, иметь полный доступ к архиву и разделу комментариев.