OpenBMB випустила мовну модель MiniCPM5-2B
OpenBMB випустила MiniCPM5-2B — щільну каузальну мовну модель із 2,516,756,480 параметрами та вбудованим контекстом на 131,072 токена. Вона використовує стандартну архітектуру LlamaForCausalLM, 42 шари та згруповану увагу з 16 головами запитів і двома головами ключів і значень. Модель поширюється за ліцензією Apache 2.0 і підтримується vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX та FlagOS.
У 34 рядках порівняльної таблиці MiniCPM5-2B отримала середній результат 53.9, тоді як Qwen3.5-4B — 51.1. Найвиразніші переваги зафіксовано у використанні інструментів і програмуванні: 97.1 на τ²-Bench Telecom, 69.1 на LiveCodeBench v6 та 46.4 на SWE-bench Verified. На частині тестів загальних знань, зокрема MMLU-Pro і Humanity’s Last Exam, модель поступається, а результати оцінювання довгого контексту є неоднозначними.
Навчання поєднувало контрольоване донавчання, навчання з підкріпленням і дистиляцію на власній політиці. За даними OpenBMB, етап SFT для глибокого міркування використав 400B токенів, після чого застосовувалися спеціалізовані RL-учителі та об’єднання 16 RL-експертів. Разом із вагами оприлюднено набори даних і проміжні контрольні точки Base, Midtrain та SFT-only.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.