Създаване на LLM, фокусиран върху разсъжденията: Практическо ръководство за поточно извличане, подбор и дообучаване на корпуса за разсъждения SupraLabs
Този урок представя цялостен работен процес за създаване на компактен езиков модел, фокусиран върху разсъжденията. Като извличаме поточно корпуса за разсъждения SupraLabs от Hugging Face, прилагаме филтри за качество и подбираме данни за контролирано дообучаване (SFT). С помощта на SmolLM2-135M-Instruct и LoRA демонстрираме…