Провідні математики заявляють, що LLM сильні в обчисленнях, але слабкі у творчому мисленні

LLM не можуть стрибнути, частина II. Математики Тімоті Ґоверс і Пітер Сарнак визнають, що великі мовні моделі мають серйозні математичні здібності, але вбачають жорсткі обмеження для створення справді нових ідей. Ґоверс стверджує, що сучасні моделі добре поєднують відомі методи й випробовують багато шляхів пошуку, але їм бракує інтуїції, щоб обрати кілька продуктивних напрямів у величезному просторі пошуку. Сарнак погоджується: ШІ може виводити результати з наявної теорії, але не здатен розробити абстракції, на яких ґрунтуються важливі доведення, якщо починати з елементарного запитання.

Дослідник DeepMind Том Захаві дійшов подібного висновку. У своїй статті «LLM не можуть стрибнути» він покладає відповідальність за це вузьке місце на «маніпулятивну абдукцію» — здатність вигадувати нові фундаментальні припущення, яким не передували жодні мовні приклади. Моделі світу можуть запропонувати шлях уперед. Ці оцінки є частиною ширшої дискусії про те, чи справді LLM стають універсальнішими, чи «лише» краще проходять бенчмарки та розв’язують задачі у знайомих сферах.

Новини ШІ без галасу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.