Руководство адаптирует дообучение Tulu 3 для оборудования с 16 ГБ
В руководстве описан полный процесс постобучения компактной языковой модели, настроенной на выполнение инструкций, с использованием фреймворка Open Instruct от AllenAI. Рабочий процесс включает три этапа: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) и Reinforcement Learning with Verifiable Rewards с применением GRPO.
Сначала авторы клонируют репозиторий Open Instruct и выборочно загружают из него функции для вычисления потерь, маскирования, вспомогательных операций и оценки. Для снижения требований к ресурсам настраиваются LoRA-адаптеры. Данные GSM8K подготавливаются отдельно для контролируемого обучения, пар предпочтений и этапа обучения с подкреплением. Детерминированные проверяющие модули оценивают математические ответы модели, сопоставляя их с эталонными результатами.
Основная логика оптимизации стека Tulu 3 сохраняется, однако инфраструктура приспособлена для среды с 16 ГБ памяти. vLLM, акторы Ray, DeepSpeed и асинхронные очереди развёртывания заменены более лёгкими реализациями на базе Hugging Face и PyTorch. Такая версия рассчитана на запуск в Colab без исходной конфигурации с несколькими GPU.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.