Sakhanda Wire
NVDA $153.77 -1.52% MSFT $506.06 -2.30% GOOGL $280.21 -1.24% META $622.96 -0.55% AMZN $257.51 -0.09%
← До новин

Посібник адаптує донавчання Tulu 3 для обладнання з 16 ГБ

У посібнику описано повний процес посттренування компактної мовної моделі, налаштованої на виконання інструкцій, із використанням фреймворку Open Instruct від AllenAI. Робочий процес охоплює три етапи: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) і Reinforcement Learning with Verifiable Rewards із застосуванням GRPO.

Спочатку репозиторій Open Instruct клонують, а з нього вибірково завантажують функції для обчислення втрат, маскування, допоміжних операцій та оцінювання. Для зменшення вимог до ресурсів налаштовують LoRA-адаптери. Дані GSM8K готують окремо для контрольованого донавчання, пар уподобань і етапу навчання з підкріпленням. Детерміновані перевіряльники оцінюють згенеровані математичні відповіді, порівнюючи їх з еталонними результатами.

Основну логіку оптимізації стеку Tulu 3 збережено, але інфраструктуру пристосовано до середовища з 16 ГБ пам’яті. vLLM, акторів Ray, DeepSpeed і асинхронні черги розгортання замінено легшими реалізаціями на базі Hugging Face та PyTorch. Такий варіант призначений для запуску в Colab без початкової конфігурації з кількома GPU.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини