Руководство описывает обучение компактной модели рассуждений
В руководстве представлен полный процесс адаптации небольшой языковой модели на данных из корпуса рассуждений SupraLabs. Вместо загрузки всей коллекции записи передаются потоком с Hugging Face Hub, перемешиваются и преобразуются в выборку из 8 000 строк. Затем изучаются источники данных, длина в токенах, состав задач и соотношение между трассами рассуждений и окончательными ответами.
Оставшиеся примеры проходят фильтрацию по длине, полноте ответов, повторяющимся строкам и балансу содержимого, связанного с рассуждением. После этого они преобразуются в формат чата с системной инструкцией и явными секциями <think>...</think>. Для supervised fine-tuning используются SmolLM2-135M-Instruct и адаптеры LoRA через SFTTrainer из TRL; данные разделяются на обучающую и оценочную выборки.
В показанном конвейере Google Colab также есть структурированная генерация: специальная функция отделяет блок рассуждений от итогового ответа и проверяет модель на логических и арифметических задачах. Подготовленные выборки сохраняются в формате Parquet. Авторы рассматривают этот процесс как основу для дальнейших экспериментов со смешиванием данных, curriculum learning, увеличением контекста и использованием более крупных моделей.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.