В руководстве показан DPO-процесс аудита и дообучения языковых моделей
В руководстве описан сквозной процесс обучения на основе предпочтений с использованием набора Anthropic HH-RLHF и метода Direct Preference Optimization (DPO). Он включает подготовку среды Colab, загрузку пар выбранных и отклонённых ответов, разбор диалогов и проверку того, что оба ответа имеют одинаковый контекст.
Процесс позволяет изучить структурные и связанные с длиной смещения в данных, в том числе различия в размере ответов между отдельными поднаборами HH-RLHF. Отдельная лексическая диагностика проверяет, могут ли поверхностные языковые признаки отличать предпочтительные ответы от отклонённых. Перед обучением диалоговые примеры фильтруются с учётом ограничений токенизатора.
Пайплайн обучения рассчитан на работу с разными версиями библиотеки TRL и поддерживает необязательную адаптацию LoRA. В руководстве дообучается Qwen2.5-0.5B-Instruct, после чего рассматриваются точность оценки вознаграждения и динамика обучения. Также сравниваются результаты отдельных поднаборов HH-RLHF, исследуется возможное смещение в пользу более длинных ответов, создаются примеры ответов и сохраняется полученная политика для дальнейших экспериментов.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.