Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← К новостям

Руководство описывает обучение компактной модели рассуждений

В руководстве представлен полный процесс адаптации небольшой языковой модели на данных из корпуса рассуждений SupraLabs. Вместо загрузки всей коллекции записи передаются потоком с Hugging Face Hub, перемешиваются и преобразуются в выборку из 8 000 строк. Затем изучаются источники данных, длина в токенах, состав задач и соотношение между трассами рассуждений и окончательными ответами.

Оставшиеся примеры проходят фильтрацию по длине, полноте ответов, повторяющимся строкам и балансу содержимого, связанного с рассуждением. После этого они преобразуются в формат чата с системной инструкцией и явными секциями <think>...</think>. Для supervised fine-tuning используются SmolLM2-135M-Instruct и адаптеры LoRA через SFTTrainer из TRL; данные разделяются на обучающую и оценочную выборки.

В показанном конвейере Google Colab также есть структурированная генерация: специальная функция отделяет блок рассуждений от итогового ответа и проверяет модель на логических и арифметических задачах. Подготовленные выборки сохраняются в формате Parquet. Авторы рассматривают этот процесс как основу для дальнейших экспериментов со смешиванием данных, curriculum learning, увеличением контекста и использованием более крупных моделей.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости