Посібник описує LoRA-доопрацювання моделей для виклику інструментів
У посібнику представлено повний процес supervised fine-tuning для набору XYZ-Aquila-SFT із використанням Hugging Face Transformers, PyTorch і PEFT. Робочий процес завантажує та перевіряє приклади, розбирає багатокрокові траєкторії використання інструментів, вилучає структуровані виклики й аналізує характеристики корпусу, зокрема глибину діалогів, розмір траєкторій і частоту використання інструментів.
Схеми інструментів відокремлюються від системних повідомлень, а потім можуть повторно вбудовуватися у формат, сумісний із Qwen. ChatML створюється вручну, щоб зберегти вбудовані міркування та спостереження; маскування обмежує обчислення втрат вмістом асистента. У посібнику зазначено, що стандартний шаблон чату Qwen3 видаляє блоки міркувань із попередніх повідомлень асистента.
Для підготовки прикладів застосовуються власні набір даних і collator на PyTorch. Максимальна довжина послідовності становить 2048 токенів, а політика обробки передбачає обрізання. Модель Qwen3-0.6B адаптується методом LoRA з рангом 16, learning rate 1e-4 і накопиченням градієнтів 8. Запуск налаштовано максимум на 30 кроків і оцінювання передбачення викликів інструментів до та після навчання. Також експортуються перетворений набір даних і статистика корпусу.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.