Дообучение снизило пропаганду в Qwen3.8-27B до 0,9 процента

Компания Nous Research сообщила, что дообучила открытую модель Alibaba Qwen3.8-27B, чтобы сократить ответы, отражающие китайскую государственную пропаганду. Получившаяся модель Arete-27B прошла обучение с учителем на примерно 53 млн токенов в течение двух эпох. Исследователи не применяли обучение с подкреплением и оптимизацию по предпочтениям, а также удалили пересечения между обучающими и тестовыми заданиями.

В собственной проверке из 803 запросов рассматривались свобода слова, государственная идеология, образование, частная жизнь и наблюдение, демократия и окружающая среда. У исходной модели пропагандистскими оказались 22 процента ответов. Для Arete-27B этот показатель составил 0,9 процента, а оценка фактической точности выросла с 2,32 до 2,98 балла из пяти. В категории свободы слова доля таких ответов снизилась с 60 процентов до одного.

Nous заявила, что общие возможности модели в основном сохранились. На внутреннем тесте Hermes Bench Arete получила 65,60 процента против 65,77 процента у Qwen3.8-27B. На Terminal-Bench 2.1 результат составил 70 против 67 процентов, однако компания не считает это полноценным улучшением из-за различий в настройках тестирования. Веса модели, тестовый набор и обучающие данные опубликованы на Hugging Face по лицензии Apache 2.0.