OpenBMB представи езиковия модел MiniCPM5-2B
OpenBMB представи MiniCPM5-2B — плътен каузален езиков модел с 2,516,756,480 параметра и естествен контекст от 131,072 токена. Той използва стандартна архитектура LlamaForCausalLM, 42 слоя и групирано-внимание с 16 заявъчни глави и две глави за ключове и стойности. Моделът е публикуван под лиценз Apache 2.0 и се поддържа от vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX и FlagOS.
В 34 реда от сравнителната таблица MiniCPM5-2B постига среден резултат 53.9, докато Qwen3.5-4B достига 51.1. Най-големите посочени предимства са при използването на инструменти и програмирането: 97.1 на τ²-Bench Telecom, 69.1 на LiveCodeBench v6 и 46.4 на SWE-bench Verified. Представянето е по-слабо при част от тестовете за общи знания, включително MMLU-Pro и Humanity’s Last Exam, а резултатите при дълъг контекст са смесени.
Обучението съчетава контролирано донастройване, подсилващо обучение и дистилация на политика в движение. Според OpenBMB е използвано SFT обучение с 400B токена, специализирани RL учители и 16 обединени RL експерти. Публикувани са и набори от данни, както и междинни контролни точки Base, Midtrain и SFT-only.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.