Діти опановують мову краще за ШІ — і ми досі не знаємо чому

Люди розмовляють одне з одним, наскільки ми можемо судити, щонайменше 100 000 років. І за весь цей час у світі була лише одна істота, здатна опанувати людську мову до досконалої вільності: людська дитина. 

Тепер їх двоє. 

Через чотири короткі роки після виходу ChatGPT багато хто з нас уже сприймає як належне те, що ми можемо природно розмовляти зі своїми телефонами чи комп’ютерами. Великі мовні моделі (LLM), як-от Claude, DeepSeek і моделі GPT від OpenAI, достатньо вільно й гнучко володіють мовою, щоб переконливо видавати себе за людей. Але зазирнімо за обчислювальну завісу — і побачимо підступ: навчання комп’ютера користуватися людською мовою досі потребує нелюдської кількості даних. LLM може легко опрацювати у сто тисяч разів більше слів, ніж людина почує за час опанування рідної мови, — і значно більше, ніж діти можуть почути до свого першого дня народження, коли вони зазвичай починають опановувати мову.

«Останнім часом прогрес був неймовірним», — каже Майкл К. Франк, когнітивний науковець зі Стенфордського університету, про LLM. «Але нам усе ще доводиться спалювати ліс і зішкрібати всю сукупність людських знань, щоб відтворити цю віху, яка відбувається у наших вітальнях протягом року».

Цей величезний розрив між дітьми й машинами називають розривом у ефективності використання даних. І він порушує захопливе питання для когнітивних науковців та кидає виклик розробникам моделей ШІ: як дітям досі вдається перевершувати найдосконаліші з погляду мови машини, які коли-небудь створювали? 

Пошук відповідей має значення і для досліджень ШІ, і для когнітивної науки. Упродовж останнього десятиліття мовні моделі здебільшого ставали кращими завдяки збільшенню розміру. Відкрита модель LLM Llama 3.1 від Meta, випущена два роки тому, опрацювала під час попереднього навчання 15 трильйонів токенів (схожих на слова фрагментів мови) — основного етапу навчання моделі, що відбувається до її доопрацювання для конкретного завдання, наприклад роботи чатботом. Передові моделі можуть проходити попереднє навчання на обсязі даних, у 10 разів більшому, каже Ітан Ґотліб Вілкокс, когнітивний науковець і лінгвіст із Джорджтаунського університету. Але інтернет не безмежний, і зрештою — можливо, вже на початку 2030-х років — запаси легкодоступних даних можуть вичерпатися. 

Діти показують, що можна навчитися більшого, маючи менше. Значно менше. Дитина передпідліткового віку, яка зростає в мовно насиченому середовищі, могла почути близько 100 мільйонів слів. Якщо додати до цього грамотність, до 20 років кількість почутих слів можна збільшити приблизно до 300 мільйонів. 

Різницю в масштабах можна по-справжньому лише передати аналогією. «Клод побачив стільки мовного матеріалу, скільки ціле місто почує за одне покоління», — каже Вілкокс. Якби надрукувати на папері всі слова, використані для навчання сучасної LLM, можна було б скласти стос, який сягнув би вище за Міжнародну космічну станцію. А 100 мільйонів слів людської дитини передпідліткового віку утворили б стос заввишки лише 20 метрів. І нам може бути достатньо значно меншого обсягу. 

Здійснюючи зворотну інженерію способу, у який навчаються діти, науковці сподіваються створити ефективніші щодо використання даних моделі ШІ. Вони могли б бути корисними для всього: від ефективного навчання ШІ на відео до створення чатботів для мовних меншин. Перевірка гіпотез про людське навчання на машинних моделях також могла б розв’язати давні питання про мову та розвиток дитячої свідомості. Чи народжуємося ми з мовним інстинктом, чи можливо, навіть у принципі, щоб дитина опанувала мову суто з досвіду? Чи є спосіб, у який ми обробляємо мову, особливістю нашої біології, чи принаймні частково він може відображати універсальні обмеження того, як мови можуть використовуватися й засвоюватися? 

Необхідні елементи

Більшість із нас усвідомлює, що мова складна, лише коли намагається вивчити нову після дитинства. Plusquamperfect, гарчання р, носові голосні, родовий відмінок, фразові дієслова, граматично чоловічі столи й жіночі ложки — для дорослого, який вивчає мову, це численні інструменти лінгвістичних тортур. Однак рідні мови ми зазвичай опановуємо без зусиль. Малюки зазвичай починають будувати граматично правильні речення, почувши близько 10 мільйонів слів, або до 30 мільйонів у верхній межі. 

«Це просто цілковите диво, — каже Франк. — Якщо навчити GPT-2 на 30 мільйонах слів, отримаєте генератор нісенітниць, а не дитину». 

Як саме немовлятам це вдається — загадка. Дослідники багато знають про те, чого навчаються діти і як вони використовують мову на різних етапах розвитку, але багато чого досі не знають. Мабуть, найдавніше питання полягає в тому, чому немовлята взагалі можуть опановувати мову. Синтаксис людської мови — правила поєднання слів у речення — містить рекурсивні, вкладені структури, що дають нам змогу виражати практично нескінченну кількість ідей за допомогою скінченного лексикону слів і частин слів. Здавалося б, це мало б бути проблемою для немовлят. Вони лише хлюпаються на мілководді бездонного океану мови. І все ж цього якось достатньо. Із краплі вони роблять висновок про глибини.

Одне з розв’язань, запропоноване в 1950-х роках лінгвістом із Массачусетського технологічного інституту Ноамом Хомським, полягає в тому, що немовлята народжуються з жорстко закладеним знанням граматики. Хомський реагував на конкуруючий погляд, якого дотримувався психолог Б. Ф. Скіннер: мовлення цілком зумовлене середовищем. Скіннер вважав, що мова засвоюється через обумовлення та підкріплення — так само, як собака вчиться сідати чи подавати лапу за ласощі. Хомський заперечував, посилаючись на «бідність стимулу» — ідею, що мова, особливо синтаксис, надто складна, а контакт дітей із нею надто «бідний», щоб вони могли навчитися всього лише з досвіду. «Його ключовий аргумент, по суті, полягав у тому, що мову неможливо вивчити, спираючись лише на статистику, — каже Річард Футрелл, лінгвіст і когнітивний науковець із Каліфорнійського університету в Ірвайні. — Натомість Хомський стверджував, що мова ґрунтується на наборі логічних правил, і наполягав, що дітям потрібне вроджене знання цих правил, щоб вивести граматику своєї мови з уривків мовлення».

«Це просто цілковите диво… Якщо навчити GPT-2 на 30 мільйонах слів, отримаєте генератор нісенітниць, а не дитину».

Майкл К. Франк, когнітивний науковець, Стенфордський університет

Погляд Хомського на мову десятиліттями домінував в американській лінгвістиці під назвою генеративної граматики. Він також справив значний вплив на комп’ютерні науки у 1950-х і 1960-х роках, коли ШІ переживав свій перший бум, а межі між лінгвістикою та опрацюванням природної мови розчинилися в потоці військового фінансування: Пентагон хотів комп’ютери, здатні розуміти англійську й перекладати російську. 

Попри ранні успіхи простих нейронних мереж, які вчаться розпізнавати й відтворювати статистичні закономірності, дослідники ШІ у США здебільшого прийняли засновану на правилах систему, на яку вплинули теорії Хомського. Вони намагалися навчити комп’ютери мови, явно закодовуючи правила в програмах — менше занурення в мовне середовище, більше уроків граматики. Цей підхід, частина ширшої тенденції під назвою символічний ШІ, панував десятиліттями. Він також здебільшого не спромігся створити моделі, здатні масштабно працювати з людською мовою. Інтерес до опрацювання природної мови охолов під час «зими ШІ», що почалася в 1970-х роках. 

Після цього нейронні мережі почали повертатися. Але лише в 2010-х роках, коли комп’ютерне обладнання стало дешевшим і потужнішим, а інтернет — масштабнішим, їхні результати почали привертати увагу. У 2018–2019 роках моделі BERT і GPT-2, побудовані на новій архітектурі — трансформері — та навчені на мільярдах токенів, дали інсайдерам зрозуміти, що навчання мови на величезному надлишку даних може працювати. У 2022 році, після проривного успіху чатбота ChatGPT від OpenAI, це стало зрозуміло всім.

LLM — не мозок. Це потужні статистичні навчальні системи — наївні машини для вивчення закономірностей, позбавлені будь-яких еволюційних біологічних особливостей, закладених у людській корі. Іншими словами, це саме те, що, на думку генеративного лінгвіста двадцятирічної давності, не могло опанувати мову. І все ж вони тут: пишуть правдоподібні сонети й складають тести з граматики.

«Хоч би наскільки скептично ви ставилися до ШІ, найбільше всіх вражає ось що: ці системи опановують синтаксис, — каже Елісон Ґопнік, психологиня розвитку з Каліфорнійського університету в Берклі. — Я не думала, що це виявиться правдою. І думаю, більшість людей не вірила, що можна просто подивитися на статистику великої вибірки мови й вивести граматику».

Але як щодо навчання на невеликій вибірці мови — скажімо, дитячого розміру? Чи можливо створити модель масштабу немовляти, яка буде чимось більшим, ніж генератор нісенітниць?

Дитяче мовлення

Алекс Варштадт, лінгвіст і фахівець із аналізу даних із Каліфорнійського університету в Сан-Дієго, згадує роки навколо виходу BERT і GPT-2 як захопливий час. У 2019 році він іще був аспірантом з лінгвістики в Нью-Йоркському університеті й спостерігав, як його галузь змінюється просто на очах. Сам факт, що мовні моделі могли вивчати англійську, опрацьовуючи тексти, кидав виклик панівним хомскіанським ідеям. Але багато лінгвістів залишалися скептичними щодо того, що LLM можуть розповісти нам про те, як люди опановують мову. 

«Мені завжди заперечували з одного конкретного питання. І це був розмір наборів даних моделі, — каже Варштадт. — Не було періоду, коли люди навчали мовні моделі в масштабі людини й ми були ними вражені».

Але Варштадт побачив у LLM перспективу: наукова модель не мусить бути досконалою, щоб бути інформативною, а LLM явно були потужними симуляціями людського використання мови. Якщо вбудувати в моделі гіпотези про те, як навчаються діти, і вимірювати їхню ефективність — наскільки близько вони підійшли до подолання розриву в даних, — чи зможуть науковці перевірити свої ідеї? У серпні 2022 року Варштадт опублікував гілку у Twitter, де виклав аргумент, що нейронні мережі можуть бути корисними моделями опанування мови. Після обговорення в коментарях із дослідником ШІ Лешем Чошеном Варштадт запропонував ідею того, що згодом стало BabyLM — щорічним конкурсом, організованим Варштадтом, Чошеном та кількома іншими дослідниками для навчання моделей на невеликих наборах даних.

Це було чотири роки тому. Відтоді BabyLM доповнився семінарами та надихнув на появу побічних проєктів, зокрема конкурсу для дитячих моделей, навчених китайською мовою. Основний етап змагання передбачає навчання мовних моделей на «розвитково правдоподібному» корпусі лише зі 100 мільйонів слів (для треку масштабу малюка — 10 мільйонів), узятих із книжок оповідань, діалогів, субтитрів до фільмів, Simple English Wikipedia, звичайної Wikipedia та реальних транскриптів мовлення, спрямованого до дітей. Моделі оцінюють за типами граматичних тестів, які психолінгвісти використовують із людьми, каже Вілкокс із Джорджтауна, один з організаторів.

Один із типів завдань полягає в тому, щоб пред’являти досліджуваним — людям або машинам — речення й шукати ознаки розгубленості чи здивування через неграматичні особливості. Наприклад, тест може порівнювати речення Ключі від шафи лежать на столі і Ключі від шафи лежить на столі. «Коли люди бачать “лежить”, вони такі: Що? Тут не мало бути “лежить”, — каже Вілкокс. Для людини це здивування можна виміряти, відстежуючи рухи очей. Для мовних моделей дослідники використовують показник, який називається несподіваністю: він оцінює, наскільки малоймовірним модель вважає речення або його частину.

Конкурс уже поставив під сумнів деякі припущення, зокрема ефективність навчання за навчальною програмою. Таке навчання починається з простих тренувальних даних і поступово переходить до складніших — приблизно як перехід від дитячого мовлення до дедалі складнішої мови. За словами Варштадта, це був найпопулярніший підхід у першому раунді BabyLM. Але він не спрацював так добре, як очікували.

«Привабливість цього підходу просто важко перебороти, розумієте. [Навчання за навчальною програмою] начебто справді відповідає тому, як, на нашу думку, навчаються люди, — каже Аарон Мюллер, комп’ютерний науковець із Бостонського університету й один з організаторів BabyLM. — Але, схоже, цим трансформерам насправді не потрібно впорядковувати дані певним чином, щоб ефективно навчатися». 

Можливо, дещо іронічно, що найкращі моделі BabyLM зовсім не натхненні немовлятами. Переможець 2024 року GPT-BERT — це трансформер, частково навчений передбачати наступний токен у послідовності, як сучасні LLM, а частково — працювати як BERT, «маскована мовна модель», що заповнює пропуски в послідовностях токенів у стилі Mad Libs. Вражає, що після попереднього навчання приблизно на 100 мільйонах слів GPT-BERT зміг перевершити Meta Llama 2 70B — LLM, попередньо навчену приблизно на в 15 000 разів більшому обсязі — в одному з тестів BabyLM.

І все ж моделі BabyLM не перебувають на одному рівні з LLM. Багато з них узагалі не можуть генерувати текст, а навіть GPT-BERT видавався б незграбним поруч із сучасною комерційною моделлю. Зрештою, хоча ці моделі й мають «дитячий» розмір, спосіб їхнього навчання не дуже схожий на дитячий. Діти — не безтілесні комп’ютерні програми, чий єдиний «досвід» світу надходить через письмовий текст. Вони сприймають світ органами чуття — особливо зором і слухом. Щоб подолати розрив у даних, вважають деякі дослідники, машинам потрібно почати навчатися очима й вухами дітей.

Поглинути все

Коли близько 15 років тому Майкл Франк заснував свою лабораторію в Стенфорді, науковці ще не дуже розуміли, як немовлята сприймають світ. Психологи розвитку лише починали зазирати в життя немовлят за допомогою камер, закріплених на голові.

«Результати тих ранніх досліджень показали, що досвід дітей радикально відрізняється від того, як ми його уявляли, — каже Франк. — Він значно більш зосереджений: у них маленькі короткі руки, тому предмети перебувають просто перед ними. І вони живуть у лісі з колін». 

Франк хотів використати записи з камер на голові для навчання моделей машинного навчання й перевірки гіпотез про те, як діти опановують мову, але йому було потрібно більше даних. Тож він і четверо колег залучили трьох немовлят — усі вони були дітьми матерів-психологинь, які розуміли, на що погоджуються, — щоб ті носили камери заради науки. Проєкт під назвою SAYCam записував по дві години життя кожної дитини на тиждень у віці від шести місяців до двох із половиною років.

«[Сім’ї] погодилися оприлюднити це відео, і це критично важливо, — каже Франк. — Тож ми оприлюднили його, і люди почали навчати на ньому моделі». 

Одним із таких людей був Бренден Лейк, когнітивний науковець і дослідник ШІ з Принстонського університету. У 2024 році, працюючи в Нью-Йоркському університеті, він разом із колегами представив модель, навчену на 61 годині необроблених даних SAYCam, яка навчилася розпізнавати предмети й пов’язувати їх зі словами. Багато теорій психології розвитку припускають, що дітям потрібні певні упередження, які допомагають виокремлювати конкретні частини необробленого сенсорного досвіду й пов’язувати їх із фрагментами мови. Наприклад, вважається, що немовлята припускають: нове слово «черевик» позначає весь предмет, а не його частину (скажімо, шнурок), каже Лейк. Але модель, яку створила його команда, змогла навчитися розпізнавати предмети на відео й пов’язувати їх зі словами без таких упереджень. «Виявляється, можна зробити справжній початок у навчанні мови, використовуючи значно менше, ніж припускала низка теорій, — каже Лейк. — Однак, — додає він, — після завершення [навчання] ми не отримуємо дворічну дитину».

Але, можливо, не дивно, що такі моделі не здатні відтворити дитячі можливості, працюючи з кількома десятками годин відео, зібраного з коротких фрагментів протягом кількох років життя дитини. Може виявитися, що недоліки просто свідчать про відсутність реалістичних даних. Зрештою, немовлята не можуть цілодобово носити камеру на голові; такі проєкти, як SAYCam і його наступник BabyView, записують у найкращому разі кілька годин на тиждень. Тому перед дослідниками постає вибір: працювати з крихітним фрагментом життя однієї дитини чи з більшими наборами відео, зібраними від багатьох дітей. У будь-якому разі дані для навчання моделі все ще дуже далекі від пережитого досвіду дитини.

Це може змінитися. Урі Хассон, нейробіолог і психолог із Принстонського університету, останні п’ять років працював над проєктом із запису перших 1000 днів життя 17 дітей. Сім’ї-учасниці обладнали всі житлові приміщення у своїх домівках (крім спалень і ванних кімнат) камерами та мікрофонами й записували по 12 годин на день майже щодня. За словами Хассона, отриманий набір даних, вперше описаний у нещодавньому препринті, має такий масштаб, із яким було б просто неможливо працювати без нових інструментів ШІ для транскрипції та аналізу відео. «Уперше ми маємо вхідні дані, — каже він. — Це справді лише початок». 

Відсутні складники

Поки що навчання моделей на відео виявилося складним. Текстові моделі стають повністю вільними у використанні мови (після поглинання величезних наборів навчальних даних), тоді як мультимодальні моделі, навчені на дитячих відео, дуже далекі від цього. Наприклад, модель Лейка навчилася простих слів на кшталт «м’яч» і «кіт». За словами Варштадта, спроби доповнити текст візуальними даними не спрацювали для учасників BabyLM. Ґопнік вважає, що проблема може полягати в тому, що діти не просто сидять і спостерігають, як минає світ. «Діти активно досліджують, а це означає, що вони активно обирають власні дані, — каже вона. — Діти постійно експериментують». Можливо, саме цього складника бракує. 

Дослідження групи Ґопнік, зокрема дослідження школярів, які грали в гру, натхненну Minecraft, показують, що те, що здається дитячою грою, насправді є ефективним способом навчитися причинно-наслідкових зв’язків. Діти шукають досвід і виконують дії, які максимізують їхню «спроможність», тобто здатність передбачувано впливати на світ. 

На відміну від моделей, діти усвідомлюють, чого вони не знають, і прагнуть заповнити прогалини у своїх знаннях, каже Елізабет Бонавітц, когнітивна науковиця розвитку з Гарварду. За її словами, соціальне життя дітей також допомагає їм навчатися. Її дослідження показало, що діти по-різному інтерпретують інформацію, коли знають, що дорослий намагається їх чогось навчити. «Діти міркують не лише про докази, які їм повідомляють, — каже Бонавітц. — Вони міркують про вчителя, про знання вчителя й про те, чому вчитель повідомляє їм цю конкретну інформацію».

Це дуже відрізняється від того, як навчаються моделі: пасивно та ізольовано. Можливо, якби моделі створювалися так, щоб шукати інформацію для заповнення власних сліпих зон, експериментувати з мовою, спостерігати за реакціями інших користувачів мови на їхнє лепетання й міркувати про певний змодельований соціальний світ, вони навчалися б краще. Торішній BabyLM навіть відкрив конкурс для моделей, здатних навчатися, взаємодіючи з іншими моделями. Але соціальні моделі не перевершили стандартні.

Серед провідних промислових лабораторій Meta, схоже, найбільше цікавиться натхненням від дітей — зокрема для навчання моделей на відео. Двоє дослідників Meta брали участь у мультимодальній гілці BabyLM, а науковці Meta разом з академічними дослідниками, зокрема Франком, нещодавно оголосили про тест і конкурс для навчання моделей на відео з дитячих камер на голові. Франк також каже, що дослідженням зацікавився стартап у сфері ШІ під назвою Flapping Airplanes, який працює в непублічному режимі. Представники Meta, Google DeepMind, OpenAI та Flapping Airplanes не погодилися на інтерв’ю. 

Наразі передові лабораторії не поспішають запозичувати дитячі хитрощі, каже Ґопнік. Вона вважає, що саме наступне покоління ШІ — те, що прийде на зміну трансформеру, — засвоїть уроки психології розвитку.

Мабуть, найпривабливіша причина подолати розрив у даних полягає в тому, що це може допомогти нам зрозуміти самих себе.

Загалом спільнота машинного навчання менше зацікавлена в імітації мозку, ніж у тому, щоб просто створити щось, що працює, каже Мюллер. Але він вважає, що усвідомлення розриву в ефективності використання даних та інтерес до нього зростають. Прикладом є тест NanoGPT Slowrun, запущений Q Labs у березні 2026 року. «Їхні цілі дуже схожі на цілі BabyLM, — каже Мюллер. — Але вони відмовилися від мотивації, пов’язаної з вивченням людської мови, і зосередилися саме на ефективності використання даних».

Одна з причин, чому Варштадт хоче подолати розрив у даних, — демократизувати ШІ, щоб університети та інші організації, які не мають ресурсів для надмасштабування, могли навчати хороші моделі й залишатися актуальними в дослідженнях ШІ. Девід Семюел, дослідник машинного навчання з Університету Осло й один з архітекторів GPT-BERT, має більш особисту причину працювати над цією проблемою. Він чех і працює в Норвегії, а чеських і норвезьких даних, доступних для навчання LLM, значно менше, ніж англійських. Для мов меншин, як-от саамська, може бути доступно лише кілька десятків мільйонів токенів, каже Семюел, — приблизно стільки, скільки чує дитина раннього віку. «Питання було таким, — каже він, — як розробити мовні моделі, настільки ж здатні, як англійські, для малих мов?»

Але, мабуть, найпривабливіша причина подолати розрив у даних полягає в тому, що це може допомогти нам зрозуміти самих себе.

Бонавітц каже, що спочатку скептично ставилася до того, що великі мовні моделі можуть розкрити щось про пізнання. Зрештою, LLM і мозок дуже відрізняються. Мозок втілений у тілі. Наші нейрони — не акуратні рядки коду, а живі клітини. І наш мозок росте та змінюється в міру того, як ми навчаємося й старіємо, тоді як LLM проходять попереднє навчання один раз і більше ніколи. Але, якими б різними не були ці дві системи, каже Бонавітц, «я наче переглядаю свої переконання». Її переконала ідея вивчати моделі так, як порівняльні психологи могли б вивчати свідомість тварин, щоб краще зрозуміти нашу власну.

Дослідники на кшталт Варштадта, Франка, Вілкокса, Лейка й Хассона вже використовують мовні моделі як своєрідних лабораторних щурів у лінгвістиці — недосконалих, але інформативних замінників реальних користувачів людської мови, особливо для питань, що стосуються навчання, мови та обробки інформації, а не чогось суто пов’язаного з нашим мозком чи біологією. Коли моделі здатні робити з мовою те, що ми вважали неможливим, це кидає виклик старим припущенням. А дослідники можуть вбудовувати гіпотези про вивчення мови в моделі — наприклад, моделювати різні ступені двомовності або позбавляти моделі контакту з певними граматичними формами — і перевіряти ці гіпотези способом, неможливим у роботі зі справжніми дітьми. Футрелл порівнює цю ситуацію з навчанням мови прибульця, після чого йому розкривають мозок, щоб подивитися, що сталося. 

Інші тварини спілкуються, але лише люди розмовляють. Тепер говорити може ще дещо, що не є ні твариною, ні людиною. LLM відкривають можливість для порівняльних досліджень, навіть якщо моделі та свідомість разюче відрізняються. «Упродовж останніх 100 000 років — або скільки існує людська мова — люди були єдиними істотами у Всесвіті, які використовували мову. Тепер з’явилася ця інша мовна істота, — каже Варштадт. — Нарешті ми маємо модель — не в сенсі мовної моделі, а в сенсі модельного організму». 

Еліс Каттс — наукова письменниця, яка живе в Австрії.