Sakhanda Wire
NVDA $153.59 -1.64% MSFT $507.00 -2.12% GOOGL $279.98 -1.32% META $619.94 -1.03% AMZN $256.62 -0.44%
← К новостям

OpenBMB выпустила языковую модель MiniCPM5-2B

OpenBMB представила MiniCPM5-2B — плотную каузальную языковую модель с 2,516,756,480 параметрами и встроенным контекстом на 131,072 токена. В ней используются стандартная архитектура LlamaForCausalLM, 42 слоя и группированное внимание с 16 головами запросов и двумя головами ключей и значений. Модель распространяется по лицензии Apache 2.0 и работает с vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX и FlagOS.

В таблице из 34 тестов MiniCPM5-2B получила средний результат 53.9. Для сравнения, показатель Qwen3.5-4B составил 51.1. Наиболее заметное преимущество OpenBMB указывает в задачах с инструментами и программированием: 97.1 на τ²-Bench Telecom, 69.1 на LiveCodeBench v6 и 46.4 на SWE-bench Verified. В тестах общих знаний результаты ниже, в частности на MMLU-Pro и Humanity’s Last Exam; оценки для длинного контекста оказались неоднородными.

Обучение включало контролируемую тонкую настройку, обучение с подкреплением и дистилляцию на собственных ответах. По данным OpenBMB, этап SFT для глубокого рассуждения использовал 400B токенов, после чего применялись специализированные RL-учителя и объединение 16 RL-экспертов. Вместе с весами опубликованы наборы данных и промежуточные контрольные точки Base, Midtrain и SFT-only.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости