Ричард Сътън призовава за нови методи отвъд мащабирането на LLM
Носителят на наградата „Тюринг“ Ричард Сътън отново заяви, че самото увеличаване на изчислителната мощ няма да доведе до интелигентност. В скорошна публикация авторът на есето „Горчивият урок“ от 2019 г. посочи, че изследванията в областта на изкуствения интелект все още се нуждаят от находчиви, принципно нови методи и са далеч от завършек.
Сътън критикува основаването главно на по-големи езикови модели и нарече синтетичните данни „голяма грешка“. Според него реалният свят е безкрайно сложен, а всяка негова симулация обхваща само микроскопична част. Той подкрепя агенти със световни модели, които непрекъснато се учат от собствения си опит, без да губят старите знания. Според Сътън интернет текстовете не описват цялата сложност на света, а днешните езикови модели не продължават да се обучават след първоначалното си обучение.
Бившият изследовател на OpenAI Джери Творек заяви, че принципът остава валиден, но алгоритъмът става все по-важен с нарастването на изчисленията. Джейдън Тео призова полезните идеи да не бъдат отхвърляни само защото може да не се мащабират завинаги. Сам Алтман и Дарио Амодей продължават да защитават по-нататъшното мащабиране на LLM.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.