Колишній дослідник DeepMind вважає, що підхід AlphaGo може вилікувати галюцинації ШІ

Колишній дослідник DeepMind Торе Грепель хоче створити системи ШІ, які відстежують, що їм відомо, і перевіряють кожен висновок на відповідність доказам. За словами його команди, більші мовні моделі не розв’яжуть цю проблему.

Торе Грепель вважає, що та сама ідея, яка допомогла AlphaGo перемогти професійного гравця в го Лі Седоля у 2016 році, може зробити системи ШІ надійнішими, зокрема в роботах. Колишній дослідник DeepMind заснував Metis Reasoning і представив цей підхід на конференції GTC компанії Nvidia у Берліні, де виробник чипів розширює свою платформу для робототехніки та фізичного ШІ з метою перетворити проблему даних у робототехніці на обчислювальну проблему.

Реєстр знань замість знань, зашитих у ваги моделі

За словами Metis, сучасні мовні моделі являють собою лише мережу прогнозування AlphaGo, яка пропонувала можливі ходи. AlphaGo поєднувала цю мережу із систематичним пошуком у послідовностях ходів і знайшла знаменитий 37-й хід — хід, імовірність якого для людини мережа оцінила б приблизно як один до десяти тисяч. Metis хоче перенести такий пошук на загальне міркування.

Для цього потрібен, як називають його автори в дослідженні, явний реєстр знань, порівнянний з ігровою дошкою. Подібні ідеї вже існують: GraphRAG від Microsoft організовує знання поза вагами моделі у графі знань, а AlphaGeometry2 від Google поєднує мовну модель із символічним рушієм, який перевіряє математичні доведення. Metis хоче поширити ці принципи на відкриті питання реального світу.

Її реєстр знань фіксує, що відомо, наскільки система впевнена у цьому та які питання залишаються відкритими. Окремий модуль перевіряє нові записи за допомогою обчислень, формальних доведень або емпіричних доказів, а коли припущення відкидається, кожен залежний від нього висновок проходить повторну оцінку. «Ходом» може бути запитання, експеримент або виклик наявному припущенню; система обирає те, що найбільше зменшує невизначеність щодо початкового питання, зрештою надаючи відповідь або обґрунтовану відмову від відповіді.

Як і в AlphaGo, дві нейронні мережі пропонують ходи та оцінюють їх; вони навчаються на записах попередніх досліджень, але не можуть скасувати правила перевірки. Metis стверджує, що така конфігурація має забезпечити менше галюцинацій, пояснення з посиланнями на джерела та знання, які можна змінювати або видаляти без повторного навчання. Оскільки міркування розбивається на невеликі кроки, цей підхід також може сприяти використанню менших моделей на периферійних пристроях і в роботах.

Компанії досі недостатньо довіряють мовним моделям, щоб впроваджувати їх

За даними Metis, більша кількість даних і обчислювальних ресурсів покращує мовні моделі, але не розв’язує фундаментальних проблем технології: моделі вигадують відповіді, їхні ланцюжки міркувань неможливо перевірити, а знання заблоковані всередині ваг. Галюцинації походять із самого процесу навчання, стверджує дослідження, оскільки моделі вчаться створювати правдоподібний текст, а не правдивий, і навіть ланцюжки міркувань у сучасних моделях міркування часто не показують , як насправді було отримано відповідь.

Саме тому, як зазначається в дослідженні, ШІ досі має такий незначний економічний вплив. Коли агент діє від імені компанії, важко простежити помилки до їхнього джерела, а неправильні знання неможливо видалити з моделі. ШІ стрімко поширився в розробці програмного забезпечення, оскільки код легко тестувати й відкотити, але в медицині, фінансах, проєктуванні чипів і робототехніці, стверджують автори, ШІ має бути перевірюваним від самого початку.

Білий документ описує лише дослідницьку програму: робочої системи, бенчмарків і порівнянь із сучасними моделями міркування немає. Команда визнає, що реальний світ, на відміну від го, надає лише часткову інформацію, що отримання доказів може бути дорогим, а деякі питання просто не мають відповіді. Найбільше відкрите питання полягає в тому, як виглядатиме перевірений реєстр знань у складних сферах за межами підручникових прикладів, зважаючи на те, що символічні системи ШІ свого часу зазнали невдачі саме через необхідність уводити всі їхні знання вручну.

Після Сільвера та Рокетшеля ще один ветеран DeepMind вирушає самостійно

Згідно з його вебсайтом, Грепель здобув ступінь PhD з машинного навчання в Берліні у 2001 році. У Microsoft Research він допомагав створювати TrueSkill — систему підбору суперників для Xbox Live. Потім він перейшов до DeepMind, де працював над AlphaGo, AlphaZero та MuZero. Після роботи в Altos Labs він востаннє обіймав посаду в команді Google DeepMind, що займалася періодом після AGI, і залишив її влітку. Він також очолює кафедру машинного навчання в University College London. За даними Bloomberg, Грепель залучає для Metis раунд фінансування на суму в кілька десятків мільйонів доларів, а наступний раунд на кілька сотень мільйонів доларів за вищою оцінкою вже готується.

Він став останнім архітектором найвідоміших проривів DeepMind, який вирішив створити щось за межами Google. Колишній колега Девід Сільвер заснував Ineffable Intelligence і залучив найбільший посівний раунд серед усіх європейських стартапів. Тім Рокетшель став співзасновником Recursive, оцінка якого нині становить 4,65 мільярда доларів. Інші одразу переходять до конкурентів. За даними Financial Times, DeepMind розпустила команду, що створила AlphaFold, а нобелівський лауреат Джон Джампер разом із двома колегами перейшов до Anthropic. CNBC частково пояснює відтік талантів обмеженим внутрішнім доступом до чипів TPU Google і бюрократією, тоді як сама DeepMind втрачає незалежність, а засновник Деміс Хассабіс відійшов від щоденного управління.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний галузевий звіт «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.