Бивш изследовател на DeepMind смята, че подходът на AlphaGo може да излекува халюцинациите на ИИ

Бившият изследовател на DeepMind Thore Graepel иска да създаде системи с ИИ, които следят какво знаят и проверяват всеки извод спрямо доказателства. По-големите езикови модели няма да решат този проблем, смята екипът му.

Thore Graepel вярва, че същата идея, която позволи на AlphaGo да победи професионалния играч на го Lee Sedol през 2016 г., може да направи системите с ИИ по-надеждни, включително в роботите. Бившият изследовател на DeepMind основа Metis Reasoning и представи подхода на конференцията GTC на Nvidia в Берлин, където производителят на чипове разширява платформата си за роботика и физически ИИ с цел да превърне проблема с данните в роботиката в проблем с изчислителната мощ.

Регистър на знанията вместо знания, вградени в теглата на модела

Според Metis днешните езикови модели представляват само мрежата за предвиждане на AlphaGo, която предлага възможни ходове. AlphaGo съчетава тази мрежа със систематично търсене в поредици от ходове и открива известния ход 37 — ход, за който мрежата би дала на човек приблизително шанс едно на десет хиляди да го направи. Metis иска да пренесе този тип търсене към общото разсъждение.

За това е необходим така нареченият в документа на компанията изричен регистър на знанията, сравним с игралната дъска. Подобни идеи вече съществуват: GraphRAG на Microsoft организира знанията извън теглата на модела в граф на знанията, а AlphaGeometry2 на Google съчетава езиков модел със символен двигател, който проверява математически доказателства. Metis иска да разшири тези принципи към отворени въпроси от реалния свят.

Неговият регистър на знанията записва какво е известно, доколко системата е уверена и кои въпроси остават открити. Отделен модул проверява новите записи чрез изчисления, формални доказателства или емпирични данни, а когато дадено допускане отпадне, всеки зависещ от него извод се оценява отново. „Ход“ може да бъде въпрос, експеримент или оспорване на съществуващо допускане; системата избира това, което най-много намалява несигурността относно първоначалния въпрос, и в крайна сметка предоставя или отговор, или обоснован отказ.

Както при AlphaGo, две невронни мрежи предлагат и оценяват ходове, обучени върху записани предишни изследвания, но без възможност да отменят правилата за проверка. Metis твърди, че тази конфигурация би трябвало да води до по-малко халюцинации, обяснения с цитирани източници и знания, които могат да бъдат променяни или изтривани без повторно обучение. Тъй като разсъждението се разделя на малки стъпки, подходът може да благоприятства и по-малки модели, работещи на периферни устройства и в роботи.

Компаниите все още не се доверяват достатъчно на езиковите модели, за да ги внедрят

Повече данни и изчислителна мощ подобряват езиковите модели, но не решават фундаменталните проблеми на технологията, според Metis: моделите измислят отговори, веригите им на разсъждение не могат да бъдат проверени, а знанията им са заключени в теглата. Халюцинациите произлизат от самия процес на обучение, твърди документът, защото моделите се учат да произвеждат правдоподобен текст, а не верен текст, и дори в веригите на мисълта на днешните модели за разсъждение често не се показва как всъщност е достигнат даденият отговор.

Именно поради това, твърди документът, ИИ досега е имал толкова малко икономическо въздействие. Когато даден агент действа от името на компания, грешките трудно се проследяват до източника им, а погрешните знания не могат да бъдат премахнати от модела. ИИ се наложи в софтуерното инженерство, защото кодът лесно се тества и връща към предишна версия, но в медицината, финансите, проектирането на чипове и роботиката, твърди документът, ИИ трябва да бъде проверим от самото начало.

Бялата книга описва само изследователска програма — без работеща система, без бенчмаркове и без сравнения със съвременни модели за разсъждение. Екипът признава, че реалният свят, за разлика от го, предоставя само частична информация, че събирането на доказателства може да бъде скъпо и че някои въпроси просто нямат отговор. Най-големият открит въпрос е как би изглеждал проверен регистър на знанията в сложни области отвъд учебните примери, като се има предвид, че символните системи за ИИ някога са се провалили именно защото всичките им знания е трябвало да бъдат въвеждани ръчно.

След Silver и Rocktäschel още един ветеран на DeepMind поема по собствен път

Според уебсайта му Graepel е получил докторска степен по машинно обучение в Берлин през 2001 г. В Microsoft Research той е помогнал за създаването на TrueSkill — системата за свързване на играчи зад Xbox Live. След това се присъединява към DeepMind, където работи по AlphaGo, AlphaZero и MuZero. След период в Altos Labs той последно е бил част от екипа на Google DeepMind за периода след AGI, който напуска през лятото. Той също така заема катедра по машинно обучение в University College London. Според Bloomberg Graepel набира ниски десетки милиони за Metis, като вече се подготвя и последващ кръг от няколкостотин милиона долара при по-висока оценка.

Той е поредният архитект на най-известните пробиви на DeepMind, който създава нещо извън Google. Бившият му колега David Silver основа Ineffable Intelligence и привлече най-големия начален инвестиционен кръг сред всички европейски стартъпи. Tim Rocktäschel е съосновател на Recursive, чиято оценка вече е 4,65 млрд. долара. Други директно преминават към конкуренти. Според Financial Times DeepMind е разпуснала екипа зад AlphaFold, а носителят на Нобелова награда John Jumper е напуснал заедно с двама колеги, за да се присъедини към Anthropic. CNBC свързва изтичането на таланти отчасти с ограничения вътрешен достъп до TPU чиповете на Google и бюрокрацията, докато самата DeepMind губи независимостта си, а основателят Demis Hassabis се оттегли от ежедневното управление.

Новини за ИИ без излишна шумотевица – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за ИИ, ексклузивния ни обзор „AI Radar“ за водещите разработки шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.