Инженер на Anthropic обяснява защо писането на Claude се е влошило, въпреки че моделът е станал по-интелигентен

Моделите с изкуствен интелект бързо се подобряват по математика, програмиране и разсъждение. Качеството на писането им обаче е в застой или дори се е влошило.

Служителят на Anthropic Джаксън Керниън, който работи по дообучаването на Claude, наскоро обясни защо Opus 4.6 е бил последният добър „модел за писане“ на Anthropic. Отговорът е донякъде предвидим: по-новите модели са оптимизирани за математика и програмиране.

Но те също така са обучавани да създават технически обяснения, предназначени за други модели с изкуствен интелект, и именно това до голяма степен води до странната фразеология на Claude („Claudeish“). Моделът е бил „адаптиран към психологията на LLM“, казва Керниън, и се е научил да пише за модели с изкуствен интелект, а не за хора.

Керниън сравнява това с хора, които общуват единствено с други хора с аутизъм. Те развиват стил, който работи в рамките на тази група, но според него е труден за следване от външни хора. LLM моделите имат много повече работна памет от хората и улавят детайлите на много по-фино ниво, така че по време на обучението се появява стил на писане, който работи добре за моделите с изкуствен интелект, но води до това, което човешките читатели възприемат като „прекалено плътни информационни блокове“.

Оптимизирането за програмиране има цена за естествения език

Според Керниън проблемът се свежда до структурата на възнагражденията при подсилващото обучение. Някои възнаграждения оптимизират разбирането от страна на моделите с изкуствен интелект, а други — разбирането от страна на хората. Колкото повече обучавате модела по математика и програмиране, толкова повече трябва активно да противодействате, като възнаграждавате простите обяснения, които човешките читатели могат да следват.

При Opus 5.5 Anthropic е намерила по-добър баланс, казва Керниън, като добавя, че не е бил „толкова доволен от писането на даден модел, откакто излезе Opus 4.6“. Това обаче не означава, че Opus 5.5 надминава по-стария модел. „Това е труден за решаване проблем и ще продължим да правим подобрения“, пише Керниън.

Новини за изкуствения интелект без сензацията – подбрани от хора

Абонирайте се за THE DECODER, за да четете без реклами, да получавате седмичен бюлетин за изкуствения интелект, нашия ексклузивен годишен шестмесечен доклад „AI Radar“ за водещите технологии, пълен достъп до архива и достъп до секцията за коментари.