Посібник описує навчання компактної моделі міркувань
У посібнику представлено повний процес адаптації невеликої мовної моделі на даних корпусу міркувань SupraLabs. Замість завантаження всієї колекції записи передаються потоково з Hugging Face Hub, перемішуються та формують вибірку з 8 000 рядків. Далі аналізуються джерела даних, довжина в токенах, склад завдань і співвідношення між трасами міркувань та остаточними відповідями.
Відібрані приклади фільтруються за довжиною, повнотою відповідей, повторенням рядків і балансом вмісту, пов’язаного з міркуваннями. Потім їх перетворюють на чатову структуру із системною інструкцією та явними секціями <think>...</think>. Для supervised fine-tuning застосовуються SmolLM2-135M-Instruct і адаптери LoRA через SFTTrainer із TRL, а дані поділяються на навчальну та оцінювальну вибірки.
Конвеєр у Google Colab також демонструє структуровану генерацію: окрема функція відділяє блок міркувань від фінальної відповіді та перевіряє модель на логічних і арифметичних запитаннях. Підготовлені вибірки експортуються у формат Parquet. Посібник описує цей процес як основу для подальших експериментів зі змішуванням даних, curriculum learning, довшим контекстом і більшими моделями.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.