Децата усвояват езика по-добре от ИИ — а ние все още не знаем защо

Хората си говорят помежду си от поне 100 000 години, доколкото можем да преценим. И през цялото това време само едно нещо на света е можело да научи човешки език до съвършена fluency: човешко дете. 

Сега са две. 

Четири кратки години след появата на ChatGPT много от нас вече приемат за даденост, че можем да разговаряме естествено с телефоните или компютрите си. Големите езикови модели като Claude, DeepSeek и GPT моделите на OpenAI са достатъчно fluent и гъвкави, за да се представят убедително за хора. Но надникнем ли зад изчислителната завеса, се появява една уловка: обучаването на компютър да използва човешки език все още изисква нечовешко количество данни. Един LLM лесно може да преработи сто хиляди пъти повече думи, отколкото човек ще чуе в процеса на усвояване на родния си език — и много повече, отколкото децата вероятно ще чуят до първия си рожден ден, когато обикновено започват да се ориентират в езика.

„Напредъкът напоследък е невероятен“, казва Майкъл К. Франк, когнитивен учен от Станфордския университет, по повод на LLM моделите. „Но все още трябва да изгорим цяла гора и да остържем цялата сума на човешкото знание, за да пресъздадем този етап, който се случва в дневните ни за една година.“

Тази огромна пропаст между децата и машините се нарича разлика в ефективността на данните. И тя повдига интригуващ въпрос за когнитивните учени и предизвикателство за създателите на AI модели: Как е възможно децата все още да превъзхождат най-сложните от езикова гледна точка машини, създавани някога? 

Намирането на отговори е важно както за изследванията в областта на AI, така и за когнитивната наука. През последното десетилетие езиковите модели най-вече са ставали по-добри, като са ставали по-големи. Llama 3.1 — LLM моделът на Meta с отворени тегла, пуснат преди две години — е преработил 15 трилиона токена (подобни на думи фрагменти от езика) по време на предварителното обучение — основния етап от обучението на модел, който се случва преди донастройването му за конкретна задача, например да бъде чатбот. Пограничните модели може да се обучават предварително с 10 пъти повече данни, казва Итън Готлиб Уилкокс, когнитивен учен и лингвист от Джорджтаунския университет. Но интернетът предлага ограничено количество данни за обучение и в крайна сметка — вероятно още през 30-те години на този век — източникът на лесно достъпни данни може да пресъхне. 

Децата показват, че е възможно да се научи повече с по-малко. Много по-малко. Дете в предпубертетна възраст, отглеждано в езиково богата среда, вероятно е чуло около 100 милиона думи. Ако добавим и грамотността, броят може да достигне около 300 милиона думи до 20-годишна възраст. 

Разликата в мащаба е нещо, което трудно може да се опише иначе освен с аналогия. „Claude е видял толкова език, колкото цял град ще чуе за едно поколение“, казва Уилкокс. Ако разпечатате на хартия всички думи, използвани за обучението на съвременен LLM, ще можете да направите купчина, която ще надмине Международната космическа станция. Междувременно 100-те милиона думи на човешкото дете ще образуват купчина висока едва 20 метра. А можем да се справим и с много по-малко. 

Като реконструират начина, по който децата се учат, учените се надяват да създадат по-ефективни по отношение на данните AI модели, които могат да бъдат полезни за всичко — от ефективно обучение на AI върху видео до създаване на чатботове за малцинствени езикови общности. Тестването на хипотези за човешкото учене с машинни модели може също да разреши дългогодишни въпроси за езика и развиващия се детски ум. Раждаме ли се с езиков инстинкт или би било възможно, поне на теория, детето да научи език единствено от опита? Начинът, по който обработваме езика, особеност на биологията ни ли е, или поне част от него може да отразява универсални ограничения върху начина, по който езиците могат да се използват и изучават? 

Съществените елементи

Повечето от нас осъзнават, че езикът е труден едва когато се опитат да научат нов език след детството. Миналото предварително време, вибриращите р-та и носовите гласни, родителният падеж, фразовите глаголи, граматическият мъжки род на масите и женският на лъжиците — много са инструментите на езиковото мъчение за възрастния ученик. Усвояването на родния език обаче обикновено е без усилие. Малките деца обикновено започват да произнасят граматически правилни изречения, след като са чули около 10 милиона думи, или до 30 милиона в горния диапазон. 

„Това е направо чудо“, казва Франк. „Ако обучите GPT-2 с 30 милиона думи, получавате генератор на безсмислици, а не дете.“ 

Точно как бебетата постигат това е загадка. Изследователите знаят много за това какво научават децата и как използват езика на различните етапи от развитието, но все още има много неизвестни. Може би най-устойчивият въпрос е защо бебетата изобщо могат да научат език. Синтаксисът на човешкия език — правилата за комбиниране на думи в изречения — включва рекурсивни, вложени структури, които ни позволяват да изразяваме практически безкрайно много идеи с краен лексикон от думи и части от думи. Това изглежда като нещо, което би трябвало да е проблем за бебетата. Те само пляскат в плитчините на бездънен океан от език. И все пак някак това е достатъчно. От една капка те извеждат дълбините.

Едно решение, предложено през 50-те години от лингвиста от MIT Ноам Чомски, е, че бебетата се раждат с вродено знание за граматиката. Чомски реагирал на противоположното схващане, защитавано от психолога Б. Ф. Скинър, че усвояването на езика е изцяло обусловено от средата. Скинър смятал, че езикът се научава чрез обусловяване и подсилване, по начина, по който кучето разбира как да седи или да подава лапа срещу лакомства. Чомски възразил с аргумента за „бедността на стимула“ — идеята, че езикът, особено синтаксисът, е твърде сложен, а излагането на децата на него е твърде „бедно“, за да го научат изцяло от опита. „Основният му аргумент по същество беше, че езикът не може да бъде научен само въз основа на статистика“, казва Ричард Футрел, лингвист и когнитивен учен от Калифорнийския университет в Ървайн. Вместо това Чомски постулирал, че езикът се основава на набор от логически правила и твърдял, че децата се нуждаят от вродено знание за тези правила, за да изведат граматиката на своя език от откъслечни речеви фрагменти.

„Това е направо чудо… Ако обучите GPT-2 с 30 милиона думи, получавате генератор на безсмислици, а не дете.“

Майкъл К. Франк, когнитивен учен, Станфордски университет

Чомскианският възглед за езика доминирал американската лингвистика в продължение на десетилетия под името генеративна граматика. Той оказал голямо влияние и върху компютърните науки през 50-те и 60-те години, когато AI преживявал първия си бум, а границите между лингвистиката и обработката на естествен език се размивали в поток от военно финансиране; Пентагонът искал компютри, които да разбират английски и да превеждат руски. 

Въпреки ранните успехи на простите невронни мрежи, които се учат да разпознават и възпроизвеждат статистически закономерности, изследователите на AI в Съединените щати до голяма степен възприели основана на правила рамка, повлияна от теориите на Чомски. Те се опитали да научат компютрите на език, като кодирали правилата директно в програмите — по-малко потапяне в езиковата среда, повече часове по граматика. Този подход, част от по-широка тенденция, наречена символен AI, доминирал десетилетия. Той до голяма степен не успял да създаде модели, способни действително да обработват човешки език в голям мащаб. Интересът към обработката на естествен език охладнял по време на „зимата на AI“, започнала през 70-те години. 

След това невронните мрежи започнали да се завръщат. Но едва през 2010-те години, когато компютърният хардуер станал евтин и мощен, а интернетът — огромен, резултатите им започнали да привличат внимание. До 2018 и 2019 г. моделите BERT и GPT-2, изградени върху нова архитектура — трансформъра — и обучени с милиарди токени, показали на специалистите, че ученето от огромно изобилие от данни може да работи при езика. През 2022 г., след пробивния успех на чатбота ChatGPT на OpenAI, това станало ясно на всички.

LLM моделите не са мозъци. Те са мощни статистически обучаеми системи — наивни машини за откриване на закономерности, в които липсват всички еволюирали биологични особености, заложени в човешката мозъчна кора. С други думи, те са точно от типа неща, за които един генеративен лингвист преди две десетилетия би сметнал, че не могат да научат език. И все пак ето ги — пишат убедителни сонети и издържат граматически тестове.

„Колкото и скептични да сте към AI, нещото, което наистина впечатли всички, е: тези системи научават синтаксиса“, казва Алисън Гопник, психолог на развитието от Калифорнийския университет в Бъркли. „Не мислех, че това ще се окаже вярно. И мисля, че повечето хора не вярваха, че можете просто да разгледате статистиката на голяма извадка от език и да разберете граматиката.“

Но какво ще кажете за ученето от малка извадка от езика — например детска? Възможно ли е да се изгради модел с мащаба на бебе, който да бъде нещо повече от генератор на безсмислици?

Бебешка реч

Алекс Варщат, лингвист и специалист по анализ на данни от Калифорнийския университет в Сан Диего, си спомня годините около появата на BERT и GPT-2 като период на опияняващ ентусиазъм. През 2019 г. той все още бил докторант по лингвистика в Нюйоркския университет и наблюдавал как областта му се променя пред очите му. Самият факт, че езиковите модели можели да научат английски, като преработват текст, бил предизвикателство към господстващите чомскиански идеи. Но много лингвисти останали скептични, че LLM моделите могат да ни кажат нещо за начина, по който хората усвояват езика. 

„Винаги срещах отпор по един конкретен въпрос. И това беше размерът на наборите от данни на модела“, казва Варщат. „Никога не е имало момент, когато хората да обучават езикови модели в човешки мащаб и ние да сме били впечатлени от тях.“

Но Варщат виждал потенциал в LLM моделите: научният модел не трябва да е съвършен, за да бъде информативен, а LLM моделите очевидно били мощни симулации на използването на човешкия език. Ако вградят хипотези за начина, по който децата се учат, в моделите и измерят представянето им — доколко са успели да намалят разликата в данните — биха ли могли учените да подложат идеите си на проверка? През август 2022 г. Варщат публикувал нишка в Twitter, в която излагал аргумента, че невронните мрежи могат да бъдат полезни модели на усвояването на езика. След размяна на мнения в коментарите с изследователя на AI Лешем Чошен, Варщат предложил идеята за това, което щяло да се превърне в BabyLM — ежегодно състезание, организирано от Варщат, Чошен и още няколко изследователи, за обучение на модели с малки набори от данни.

Това беше преди четири години. Оттогава BabyLM добави семинари и вдъхнови странични инициативи, включително състезание за бебешки модели, обучени на китайски. Основното събитие предизвиква изследователите да обучат езикови модели върху „развитиенo правдоподобен“ корпус от само 100 милиона думи (10 милиона в категорията за мащаба на малко дете), съставен от книжки с истории, диалози, субтитри на филми, Simple English Wikipedia, нормалната Wikipedia и реални транскрипции на реч, насочена към деца. Моделите се оценяват с видовете граматически тестове, които психолингвистите използват при хората, казва Уилкокс от Джорджтаун, един от организаторите.

Един вид задача включва представяне на изречения на тестови участници — хора или машини — и търсене на признаци на объркване или изненада при неграматични особености. Например тестът може да сравнява изреченията Ключовете за шкафа са на масата и Ключовете за шкафа е на масата. „Когато хората видят „е“, те реагират: Какво? Тук не трябва да е „е“, казва Уилкокс. При човек тази изненада може да се измери чрез проследяване на движенията на очите. При езиковите модели изследователите използват мярка, наречена изненадващост, която оценява доколко малко вероятно моделът смята, че е дадено изречение или част от изречение.

Състезанието вече постави под въпрос някои предположения, като например ефективността на обучението по учебна програма. Обучението по учебна програма започва с прости тренировъчни данни и постепенно преминава към по-сложни входове — донякъде като започване с бебешка реч и постепенното ѝ усложняване. Според Варщат това бил далеч най-популярният подход в първия кръг на BabyLM. Но не проработил толкова добре, колкото се очаквало.

„Привлекателността му е просто трудно да се устои, нали знаете. [Обучението по учебна програма] изглежда наистина съответства на начина, по който вярваме, че хората се учат“, казва Аарон Мюлер, компютърен учен от Бостънския университет и един от организаторите на BabyLM. „Но изглежда, че тези трансформъри всъщност не се нуждаят данните им да бъдат подредени по определен начин, за да се учат ефективно.“ 

Може би донякъде иронично, най-добрите модели BabyLM изобщо не са вдъхновени от бебета. Шампионът от 2024 г., GPT-BERT, е трансформър, обучен отчасти да предсказва следващия токен в последователност, подобно на съвременните LLM модели, и отчасти да действа като BERT — „маскиран езиков модел“, който попълва празните места в последователностите от токени по подобие на играта Mad Libs. Впечатляващо е, че когато GPT-BERT бил предварително обучен с около 100 милиона думи, той успял да надмине представянето на Llama 2 70B на Meta — LLM, предварително обучен с приблизително 15 000 пъти повече данни — в един от тестовете на BabyLM.

И все пак моделите BabyLM не са на същото ниво като LLM моделите. Много от тях изобщо не могат да генерират текст, а дори GPT-BERT би изглеждал тромав в сравнение със съвременен комерсиален модел. В крайна сметка, макар да са с „бебешки“ размер, начинът, по който тези модели се учат, не е особено бебешки. Децата не са безплътни компютърни програми, чийто единствен „опит“ със света идва от писмен текст. Те възприемат света чрез сетивата си — особено чрез зрението и слуха. За да преодолеят разликата в данните, смятат някои изследователи, машините ще трябва да започнат да се учат през очите и ушите на децата.

Да възприемеш всичко

Когато Майкъл Франк започнал работа в лабораторията си в Станфорд преди около 15 години, учените всъщност не знаели как бебетата преживяват света. Психолозите на развитието едва започвали да надникват в живота на бебетата чрез камери, закрепени на главите им.

„Изводите от тези ранни изследвания бяха, че опитът на децата изглежда коренно различен от това, което сме предполагали“, казва Франк. „Той е много по-фокусиран: ръцете им са къси и затова предметите са буквално точно пред тях. А те живеят в гора от колене.“ 

Франк бил развълнуван от възможността да използва видеозаписи от камерите на главите, за да обучава модели за машинно обучение и да проверява хипотези за това как децата се учат на език, но му били нужни повече данни. Затова той и четирима колеги привлекли три бебета — всички деца на майки психолози, които знаели в какво се впускат — да носят камери на главите си в името на науката. Проектът, наречен SAYCam, записвал по два часа седмично от живота на всяко дете между шестмесечна и две години и половина възраст.

„[Семействата] бяха готови да предоставят това видео и това е от решаващо значение“, казва Франк. „Затова го публикувахме и хората започнаха да обучават модели с него.“ 

Един от тези хора бил Брендън Лейк, когнитивен учен и изследовател на AI от Принстънския университет. През 2024 г., когато работел в Нюйоркския университет, той и колегите му представили модел, обучен с 61 часа необработени данни от SAYCam, който се научил да разпознава предмети и да ги свързва с думи. Много теории в психологията на развитието предполагат, че децата се нуждаят от определени предразположения, за да отделят конкретни части от необработения си сетивен опит и да ги свържат с елементи от езика. Например смята се, че бебетата приемат, че нова дума като „обувка“ се отнася до целия предмет, а не до част от него, като връзката, казва Лейк. Но моделът, създаден от екипа му, успял да се научи да разпознава предмети във видеозаписите и да ги свързва с думи без подобни предразположения. „Оказва се, че можете да поставите реално начало на усвояването на езика с много по-малко, отколкото предполагаха редица теории“, казва Лейк. И все пак добавя: „Когато приключим, от [обучението] не получаваме двегодишно дете.“

Но може би не е изненадващо, че такива модели не могат да възпроизведат детските способности, работейки с няколко десетки часа видеозаписи, сглобени от кратки моменти в продължение на няколко години от живота на едно дете. Възможно е недостатъците просто да показват липса на реалистични данни. В крайна сметка бебетата не могат да носят камера на главата си 24 часа в денонощието, 7 дни в седмицата; инициативи като SAYCam и нейният наследник BabyView записват най-много по няколко часа седмично. Затова изследователите трябва да избират между работа с миниатюрна част от живота на едно дете и по-големи набори от видеозаписи, събрани от много деца. И в двата случая тренировъчните данни на модела все още са много далеч от реално преживения опит на детето.

Това може да се промени. Ури Хасон, невролог и психолог от Принстънския университет, прекарал последните пет години в проект за записване на първите 1000 дни от живота на 17 деца. Участващите семейства оборудвали с камери и микрофони всички жилищни помещения в домовете си (с изключение на спалните и баните) и записвали по 12 часа на ден почти всеки ден. Полученият набор от данни, описан за първи път в неотдавнашен препринт, е с мащаб, с който просто би било невъзможно да се работи без новите AI инструменти за транскрипция и видеоанализ, казва Хасон. „За първи път разполагаме с входа“, казва той. „Това е наистина само началото.“ 

Липсващите съставки

Досега обучението на модели с видео се оказва трудно. Докато текстовите модели излизат напълно fluent (след като са погълнали огромни тренировъчни набори от данни), мултимодалните модели, обучени с видеозаписи на деца, са далеч от това. Моделът на Лейк например научил прости думи като „топка“ и „котка“. Опитите да се допълни текстът с визуални данни не са проработили за участниците в BabyLM, казва Варщат. Гопник смята, че проблемът може да е в това, че децата не просто седят и гледат как светът минава покрай тях. „Децата активно изследват, което означава, че активно избират собствените си данни“, казва тя. „Децата непрекъснато експериментират.“ Може би именно това е липсващата съставка. 

Изследванията на групата на Гопник — включително проучвания на ученици от началното училище, изследващи игра, вдъхновена от Minecraft — показват, че онова, което изглежда като детска игра, всъщност е ефективен начин за научаване на причината и следствието. Децата търсят преживявания и предприемат действия, които увеличават максимално тяхната „овластеност“ — или способността да оказват предвидимо въздействие върху света. 

За разлика от моделите, децата осъзнават какво не знаят и имат стремеж да запълват празнините в знанията си, казва Елизабет Бонавиц, когнитивен учен на развитието от Харвард. Социалният живот на децата също им помага да се учат, казва тя. Изследванията ѝ показват, че децата интерпретират информацията по различен начин, когато знаят, че възрастен се опитва да ги научи на нещо. „Децата не разсъждават само върху доказателствата, които им се съобщават“, казва Бонавиц. „Те разсъждават за учителя, за знанията на учителя и за това защо учителят им съобщава [тъкмо] тази конкретна информация.“

Това е много различно от начина, по който се учат моделите: пасивно и в изолация. Може би ако моделите бъдат създадени така, че да търсят информация, с която да запълват собствените си слепи петна, да експериментират с езика и да наблюдават как другите, използващи езика, реагират на бърборенето им, и да разсъждават върху някакъв симулиран социален свят, те ще се учат по-добре. Миналогодишното издание на BabyLM всъщност допусна до състезанието модели, които могат да се учат чрез взаимодействие с други модели. Но социалните модели не надминали стандартните.

От водещите индустриални лаборатории Meta изглежда най-заинтересована от вдъхновението, което може да почерпи от децата — по-специално за обучението на модели от видео. Двама изследователи на Meta участваха в мултимодалния клон на BabyLM, а учени от Meta — заедно с академични изследователи, включително Франк — наскоро обявиха бенчмарк и предизвикателство за обучение на модели с видеозаписи от камери на бебешки глави. Франк също казва, че стартъпът за AI в режим на секретност Flapping Airplanes проявява интерес към изследванията му. Нито Meta, Google DeepMind, OpenAI, нито Flapping Airplanes се съгласиха на интервю. 

Засега водещите лаборатории не се надпреварват точно да заимстват хитрини от децата, казва Гопник. Тя смята, че именно следващото поколение AI — каквото и да замени трансформъра — ще извлече поуки от психологията на развитието.

Може би най-примамливата причина да преодолеем разликата в данните е, че това може да ни помогне да разберем самите себе си.

Като цяло общността за машинно обучение се интересува по-малко от имитирането на мозъка, отколкото от простото създаване на нещо, което работи, казва Мюлер. Но според него осъзнаването и интересът към разликата в ефективността на данните нарастват. Пример за това е бенчмаркът NanoGPT Slowrun, стартиран от Q Labs през март 2026 г. „Те имат цели, много сходни с тези на BabyLM“, казва Мюлер. „Но са премахнали мотивацията, свързана с човешкото усвояване на езика, и са се фокусирали единствено върху ефективността на данните.“

Една от причините Варщат да иска да преодолее разликата в данните е да демократизира AI, така че университети и други организации без ресурсите за хипермащабиране да могат да обучават добри модели и да останат значими в изследванията на AI. Дейвид Самюел, изследовател на машинното обучение от Университета в Осло и един от архитектите на GPT-BERT, има по-лична причина да работи по този проблем. Той е чех и работи в Норвегия, а наличните за обучение на LLM модели данни на чешки и норвежки са много по-малко, отколкото на английски. За малцинствени езици като саамския може да са налични едва десетки милиони токени, казва Самюел — приблизително мащабът на езиковата среда на малко дете. „Въпросът беше“, казва той, „как можем да разработим езикови модели, които да са също толкова способни, колкото английските, за малките езици?“

Но може би най-примамливата причина да преодолеем разликата в данните е, че това може да ни помогне да разберем самите себе си.

Бонавиц казва, че първоначално била скептична, че големите езикови модели могат да разкрият нещо за познанието. В крайна сметка LLM моделите и мозъците са много различни. Мозъците са въплътени. Невроните ни не са подредени редове код, а живи клетки. А мозъците ни растат и се променят, докато се учим и остаряваме — LLM моделите се обучават предварително веднъж и никога повече. Но колкото и различни да са двете системи, казва Бонавиц, „донякъде преразглеждам убежденията си“. Тя е била спечелена от идеята да изучава моделите по начина, по който сравнителните психолози биха изучавали умовете на животни, за да хвърлят светлина върху нашия собствен ум.

Изследователи като Варщат, Франк, Уилкокс, Лейк и Хасон вече използват езиковите модели като своеобразни лабораторни плъхове на лингвистиката — несъвършени, но информативни заместители на реален човешки носител на езика, особено за въпроси, свързани повече с ученето, езика и обработката на информацията, отколкото с нещо специфично за мозъка или биологията ни. Когато моделите могат да правят с езика неща, които сме смятали за невъзможни, това поставя под въпрос старите предположения. А изследователите могат да вграждат хипотези за усвояването на езика в модели — например чрез симулиране на различни степени на двуезичност или лишаване на моделите от излагане на определени граматически форми — и да проверяват тези хипотези по начин, който би бил невъзможен с реални деца. Футрел сравнява ситуацията с това да научиш извънземен на език и след това да отвориш мозъка му, за да видиш какво се е случило. 

Докато други животни общуват, само хората разговарят. Сега има нещо, което не е нито животно, нито човек, но също може да говори. LLM моделите откриват възможност за сравнителни изследвания, дори ако моделите и умовете са коренно различни. „През последните 100 000 години или колкото там съществува човешкият език, хората са били единствените същества във Вселената, които използват език. Сега има и друго езиково същество“, казва Варщат. „Най-сетне имаме модел — не в смисъла на езиков модел, а в смисъла на модел за организъм.“ 

Елиз Кътс е научна писателка, живееща в Австрия.