Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← До новин

OpenBMB випустила мовну модель MiniCPM5-2B

OpenBMB випустила MiniCPM5-2B — щільну каузальну мовну модель із 2,516,756,480 параметрами та вбудованим контекстом на 131,072 токена. Вона використовує стандартну архітектуру LlamaForCausalLM, 42 шари та згруповану увагу з 16 головами запитів і двома головами ключів і значень. Модель поширюється за ліцензією Apache 2.0 і підтримується vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX та FlagOS.

У 34 рядках порівняльної таблиці MiniCPM5-2B отримала середній результат 53.9, тоді як Qwen3.5-4B — 51.1. Найвиразніші переваги зафіксовано у використанні інструментів і програмуванні: 97.1 на τ²-Bench Telecom, 69.1 на LiveCodeBench v6 та 46.4 на SWE-bench Verified. На частині тестів загальних знань, зокрема MMLU-Pro і Humanity’s Last Exam, модель поступається, а результати оцінювання довгого контексту є неоднозначними.

Навчання поєднувало контрольоване донавчання, навчання з підкріпленням і дистиляцію на власній політиці. За даними OpenBMB, етап SFT для глибокого міркування використав 400B токенів, після чого застосовувалися спеціалізовані RL-учителі та об’єднання 16 RL-експертів. Разом із вагами оприлюднено набори даних і проміжні контрольні точки Base, Midtrain та SFT-only.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини