Посібник адаптує донавчання Tulu 3 для обладнання з 16 ГБ
У посібнику описано повний процес посттренування компактної мовної моделі, налаштованої на виконання інструкцій, із використанням фреймворку Open Instruct від AllenAI. Робочий процес охоплює три етапи: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) і Reinforcement Learning with Verifiable Rewards із застосуванням GRPO.
Спочатку репозиторій Open Instruct клонують, а з нього вибірково завантажують функції для обчислення втрат, маскування, допоміжних операцій та оцінювання. Для зменшення вимог до ресурсів налаштовують LoRA-адаптери. Дані GSM8K готують окремо для контрольованого донавчання, пар уподобань і етапу навчання з підкріпленням. Детерміновані перевіряльники оцінюють згенеровані математичні відповіді, порівнюючи їх з еталонними результатами.
Основну логіку оптимізації стеку Tulu 3 збережено, але інфраструктуру пристосовано до середовища з 16 ГБ пам’яті. vLLM, акторів Ray, DeepSpeed і асинхронні черги розгортання замінено легшими реалізаціями на базі Hugging Face та PyTorch. Такий варіант призначений для запуску в Colab без початкової конфігурації з кількома GPU.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.