Создание LLM, ориентированной на рассуждения: практическое руководство по потоковой загрузке, отбору и дообучению корпуса рассуждений SupraLabs
В этом руководстве представлен полный рабочий процесс создания компактной языковой модели, ориентированной на рассуждения. Загружая корпус рассуждений SupraLabs с Hugging Face в потоковом режиме, мы применяем фильтры качества и отбираем данные для контролируемого дообучения (SFT). Используя SmolLM2-135M-Instruct и LoRA, мы демонстрируем…