Sakhanda Wire
NVDA $153.77 -1.52% MSFT $506.06 -2.30% GOOGL $280.21 -1.24% META $622.96 -0.55% AMZN $257.51 -0.09%
← Към новините

Ръководство адаптира дообучаването на Tulu 3 за 16 GB хардуер

Ръководство представя цялостен процес за последващо обучение на компактен езиков модел, следващ инструкции, чрез рамката Open Instruct на AllenAI. В него са включени три етапа: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) и Reinforcement Learning with Verifiable Rewards чрез GRPO.

Процесът започва с клониране на хранилището Open Instruct и избирателно зареждане на негови функции за загуби, маскиране, помощни операции и оценяване. Конфигурират се LoRA адаптери, за да се ограничат изискванията към ресурсите, а данните от GSM8K се подготвят за контролирано обучение, двойки за предпочитания и подкрепящо обучение. Детеминирани проверяващи модули оценяват генерираните математически отговори спрямо известни резултати.

Ръководството запазва основната логика за оптимизация на стека за обучение Tulu 3, но адаптира инфраструктурата за среда с 16 GB. Компоненти като vLLM, Ray actors, DeepSpeed и асинхронните опашки за генериране са заменени с по-леки реализации чрез Hugging Face и PyTorch. Настройката е предназначена за работа в Colab без първоначалните изисквания за множество графични процесори.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини