OpenBMB выпустила языковую модель MiniCPM5-2B
OpenBMB представила MiniCPM5-2B — плотную каузальную языковую модель с 2,516,756,480 параметрами и встроенным контекстом на 131,072 токена. В ней используются стандартная архитектура LlamaForCausalLM, 42 слоя и группированное внимание с 16 головами запросов и двумя головами ключей и значений. Модель распространяется по лицензии Apache 2.0 и работает с vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX и FlagOS.
В таблице из 34 тестов MiniCPM5-2B получила средний результат 53.9. Для сравнения, показатель Qwen3.5-4B составил 51.1. Наиболее заметное преимущество OpenBMB указывает в задачах с инструментами и программированием: 97.1 на τ²-Bench Telecom, 69.1 на LiveCodeBench v6 и 46.4 на SWE-bench Verified. В тестах общих знаний результаты ниже, в частности на MMLU-Pro и Humanity’s Last Exam; оценки для длинного контекста оказались неоднородными.
Обучение включало контролируемую тонкую настройку, обучение с подкреплением и дистилляцию на собственных ответах. По данным OpenBMB, этап SFT для глубокого рассуждения использовал 400B токенов, после чего применялись специализированные RL-учителя и объединение 16 RL-экспертов. Вместе с весами опубликованы наборы данных и промежуточные контрольные точки Base, Midtrain и SFT-only.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.