Инженер Anthropic объясняет, почему стиль письма Claude ухудшился, хотя модель стала умнее

ИИ-модели быстро совершенствуются в математике, программировании и рассуждениях. Однако качество их текстов застопорилось или даже ухудшилось.

Сотрудник Anthropic Джексон Кернион, работающий над дообучением Claude, недавно объяснил, почему Opus 4.6 была последней хорошей «моделью для написания текстов» от Anthropic. Ответ отчасти предсказуем: новые модели оптимизировали для математики и программирования.

Но их также обучали создавать технические объяснения, ориентированные на другие ИИ-модели, и именно это сильнее всего влияет на странные формулировки Claude («Claudeish»). Модель была «адаптирована к психологии LLM», говорит Кернион, и научилась писать для ИИ-моделей, а не для людей.

Кернион сравнивает это с людьми, которые общаются только с другими аутичными людьми. По его словам, они вырабатывают стиль, который хорошо работает внутри этой группы, но кажется трудным для понимания посторонним. У LLM гораздо больше рабочей памяти, чем у людей, и они улавливают детали на гораздо более тонком уровне, поэтому во время обучения возникает стиль письма, который хорошо работает для ИИ-моделей, но превращается в то, что люди воспринимают как «перегруженные плотные массивы информации».

Оптимизация для программирования достигается за счёт естественного языка

По словам Керниона, проблема сводится к структуре вознаграждений в обучении с подкреплением. Одни вознаграждения оптимизируют понимание ИИ-моделями, другие — понимание людьми. Чем больше модель обучают математике и программированию, тем активнее приходится компенсировать это, вознаграждая простые объяснения, которые понятны людям.

По словам Керниона, с Opus 5.5 Anthropic нашла лучший баланс; он добавляет, что не был «так доволен текстами модели со времён Opus 4.6». Однако это не означает, что Opus 5.5 превзошла более старую модель. «Это сложная проблема, и мы продолжим вносить улучшения», — пишет Кернион.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный годовой отчёт о передовых разработках «AI Radar», выходящий шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.