Інженер Anthropic пояснює, чому стиль письма Claude погіршився, хоча модель стала розумнішою

Моделі ШІ швидко вдосконалюються в математиці, програмуванні та міркуванні. Однак якість їхнього письма застопорилася або навіть погіршилася.

Співробітник Anthropic Джексон Керніон, який працює над донавчанням Claude, нещодавно пояснив, чому Opus 4.6 була останньою доброю «моделлю для написання текстів» від Anthropic. Відповідь частково передбачувана: новіші моделі оптимізували для математики та програмування.

Але їх також навчали створювати технічні пояснення, орієнтовані на інші моделі ШІ, і саме це найбільше спричиняє дивні формулювання («Claudeish») Claude. За словами Керніона, модель була «адаптована до психології LLM» і навчилася писати для моделей ШІ, а не для людей.

Керніон порівнює це з людьми, які спілкуються лише з іншими аутичними людьми. За його словами, вони розвивають стиль, який працює всередині цієї групи, але стороннім його важко зрозуміти. LLM мають набагато більшу робочу пам’ять, ніж люди, і помічають деталі на значно тоншому рівні, тому під час навчання виникає стиль письма, який добре працює для моделей ШІ, але створює те, що люди-читачі сприймають як «надто щільні інформаційні масиви».

Оптимізація для програмування має свою ціну для природної мови

За словами Керніона, проблема зводиться до структури винагород у навчанні з підкріпленням. Деякі винагороди оптимізують розуміння моделями ШІ, інші — розуміння людьми. Що більше ви навчаєте модель на математиці та програмуванні, то активніше потрібно протидіяти цьому, винагороджуючи прості пояснення, які можуть зрозуміти читачі-люди.

За словами Керніона, з Opus 5.5 Anthropic знайшла кращий баланс, додавши, що він не був «так задоволений написанням моделі відтоді, як вийшла Opus 4.6». Однак це не означає, що Opus 5.5 перевершує старішу модель. «Це складна проблема, яку потрібно розв’язати, і ми продовжимо вдосконалення», — пише Керніон.

Новини ШІ без зайвого галасу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ та наш ексклюзивний передовий звіт «AI Radar» шість разів на рік, мати повний доступ до архіву й розділу коментарів.