Sakhanda Wire
NVDA $153.77 -1.52% MSFT $506.06 -2.30% GOOGL $280.21 -1.24% META $622.96 -0.55% AMZN $257.51 -0.09%
← К новостям

Руководство адаптирует дообучение Tulu 3 для оборудования с 16 ГБ

В руководстве описан полный процесс постобучения компактной языковой модели, настроенной на выполнение инструкций, с использованием фреймворка Open Instruct от AllenAI. Рабочий процесс включает три этапа: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) и Reinforcement Learning with Verifiable Rewards с применением GRPO.

Сначала авторы клонируют репозиторий Open Instruct и выборочно загружают из него функции для вычисления потерь, маскирования, вспомогательных операций и оценки. Для снижения требований к ресурсам настраиваются LoRA-адаптеры. Данные GSM8K подготавливаются отдельно для контролируемого обучения, пар предпочтений и этапа обучения с подкреплением. Детерминированные проверяющие модули оценивают математические ответы модели, сопоставляя их с эталонными результатами.

Основная логика оптимизации стека Tulu 3 сохраняется, однако инфраструктура приспособлена для среды с 16 ГБ памяти. vLLM, акторы Ray, DeepSpeed и асинхронные очереди развёртывания заменены более лёгкими реализациями на базе Hugging Face и PyTorch. Такая версия рассчитана на запуск в Colab без исходной конфигурации с несколькими GPU.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости