Ръководство показва обучение на компактен модел за разсъждение
Ръководство представя цялостен процес за адаптиране на малък езиков модел с данни от корпуса за разсъждение SupraLabs. Вместо целият корпус да бъде изтеглян, записите се зареждат поточно от Hugging Face Hub, разбъркват се и се материализират в извадка от 8 000 реда. Анализират се източниците, дължината в токени, типовете задачи и съотношението между следите на разсъждение и крайните отговори.
Запазените примери преминават филтри за дължина, пълнота на отговорите, повтарящи се редове и баланс на съдържанието за разсъждение. След това се преобразуват в чат формат със системна инструкция и изрични секции <think>...</think>. Процесът използва SmolLM2-135M-Instruct и LoRA чрез SFTTrainer от TRL за supervised fine-tuning, като данните се разделят на обучаваща и оценъчна част.
В Google Colab е показано и структурирано генериране: функция за извеждане отделя секцията за разсъждение от отговора и тества модела с логически и аритметични въпроси. Обработените набори се експортират във формат Parquet. Ръководството посочва процеса като основа за бъдещи експерименти със смесване на данни, curriculum learning, по-дълъг контекст и по-големи модели.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.