Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← Към новините

Ръководство показва LoRA дообучение на модели за извикване на инструменти

В урока е представен цялостен процес за supervised fine-tuning на набора XYZ-Aquila-SFT с Hugging Face Transformers, PyTorch и PEFT. Работният поток зарежда и проверява примери, анализира многостъпкови траектории с използване на инструменти, извлича структурирани извиквания и изчислява характеристики на корпуса, включително дълбочина на разговорите, размер на траекториите и честота на използване на инструментите.

Схемите на инструментите се отделят от системните съобщения и могат да бъдат вградени отново във формат, съвместим с Qwen. ChatML се генерира ръчно, за да се запазят вградените разсъждения и наблюдения, като загубата се изчислява само върху съдържанието на асистента. Според урока това избягва премахването на блокове с разсъждения от по-ранни асистентски съобщения при стандартния шаблон на Qwen3.

Персонализирани PyTorch набор от данни и collator подготвят примерите, ограничени до 2048 токена чрез политика за съкращаване. Използва се Qwen3-0.6B с LoRA, ранг 16, learning rate 1e-4 и натрупване на градиентите 8. Настроени са до 30 стъпки на обучение и оценка на предвиждането на извиквания преди и след обучението. Експортират се и преобразуваният набор, и статистиките на корпуса.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини