Sakhanda Wire
NVDA $150.96 -2.89% MSFT $508.29 +0.40% GOOGL $282.44 +0.80% META $616.38 -0.40% AMZN $267.74 +3.82%
← К новостям

В руководстве показан DPO-процесс аудита и дообучения языковых моделей

В руководстве описан сквозной процесс обучения на основе предпочтений с использованием набора Anthropic HH-RLHF и метода Direct Preference Optimization (DPO). Он включает подготовку среды Colab, загрузку пар выбранных и отклонённых ответов, разбор диалогов и проверку того, что оба ответа имеют одинаковый контекст.

Процесс позволяет изучить структурные и связанные с длиной смещения в данных, в том числе различия в размере ответов между отдельными поднаборами HH-RLHF. Отдельная лексическая диагностика проверяет, могут ли поверхностные языковые признаки отличать предпочтительные ответы от отклонённых. Перед обучением диалоговые примеры фильтруются с учётом ограничений токенизатора.

Пайплайн обучения рассчитан на работу с разными версиями библиотеки TRL и поддерживает необязательную адаптацию LoRA. В руководстве дообучается Qwen2.5-0.5B-Instruct, после чего рассматриваются точность оценки вознаграждения и динамика обучения. Также сравниваются результаты отдельных поднаборов HH-RLHF, исследуется возможное смещение в пользу более длинных ответов, создаются примеры ответов и сохраняется полученная политика для дальнейших экспериментов.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости