Ръководство показва LoRA дообучение на модели за извикване на инструменти
В урока е представен цялостен процес за supervised fine-tuning на набора XYZ-Aquila-SFT с Hugging Face Transformers, PyTorch и PEFT. Работният поток зарежда и проверява примери, анализира многостъпкови траектории с използване на инструменти, извлича структурирани извиквания и изчислява характеристики на корпуса, включително дълбочина на разговорите, размер на траекториите и честота на използване на инструментите.
Схемите на инструментите се отделят от системните съобщения и могат да бъдат вградени отново във формат, съвместим с Qwen. ChatML се генерира ръчно, за да се запазят вградените разсъждения и наблюдения, като загубата се изчислява само върху съдържанието на асистента. Според урока това избягва премахването на блокове с разсъждения от по-ранни асистентски съобщения при стандартния шаблон на Qwen3.
Персонализирани PyTorch набор от данни и collator подготвят примерите, ограничени до 2048 токена чрез политика за съкращаване. Използва се Qwen3-0.6B с LoRA, ранг 16, learning rate 1e-4 и натрупване на градиентите 8. Настроени са до 30 стъпки на обучение и оценка на предвиждането на извиквания преди и след обучението. Експортират се и преобразуваният набор, и статистиките на корпуса.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.