Річард Саттон закликав до нових методів поза масштабуванням LLM
Лауреат премії Тюрінга Річард Саттон знову заявив, що самого збільшення обчислювальних ресурсів недостатньо для створення інтелекту. У нещодавній публікації автор есею «Гіркий урок» 2019 року зазначив, що дослідження штучного інтелекту все ще потребують винахідливих, принципово нових методів і далекі від завершення.
Саттон критикував орієнтацію переважно на збільшення мовних моделей і називав синтетичні дані «великою помилкою». На його думку, реальний світ нескінченно складний, тому будь-яка його симуляція охоплює лише мікроскопічну частину. Він підтримує агентів із моделями світу, які безперервно навчаються на власному досвіді та не втрачають попередніх знань. Саттон також вважає, що інтернет-тексти не передають усієї складності світу, а сучасні мовні моделі припиняють навчання після завершення тренування.
Колишній дослідник OpenAI Джеррі Творек заявив, що «гіркий урок» залишається чинним, але зі зростанням обчислень важливішим стає алгоритм. Джейден Тео закликав не відкидати корисні ідеї лише через те, що вони можуть не масштабуватися безмежно. Сем Альтман і Даріо Амодеї й надалі вважають, що масштабування LLM має значний потенціал.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.