Посібник описує DPO-процес для аудиту й донавчання мовних моделей
Посібник описує наскрізний процес навчання на основі вподобань із використанням набору Anthropic HH-RLHF та методу Direct Preference Optimization (DPO). Він охоплює підготовку середовища Colab, завантаження пар вибраних і відхилених відповідей, розбір діалогів і перевірку спільного контексту для обох відповідей.
Процес дає змогу дослідити структурні та пов’язані з довжиною упередження в даних, зокрема відмінності в розмірі відповідей між окремими піднаборами HH-RLHF. Окрема лексична діагностика перевіряє, чи можуть поверхневі мовні ознаки розрізняти бажані та відхилені відповіді. Перед навчанням діалогові приклади фільтруються з урахуванням обмежень токенізатора.
Пайплайн навчання розрахований на різні версії бібліотеки TRL і підтримує необов’язкову адаптацію LoRA. У посібнику донавчають Qwen2.5-0.5B-Instruct, а потім оцінюють точність винагороди та перебіг навчання. Також аналізуються результати окремих піднаборів HH-RLHF, можливе упередження на користь довших відповідей і зразки генерацій. Отриману політику зберігають для подальших експериментів.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.