Sakhanda Wire
NVDA $153.59 -1.64% MSFT $507.00 -2.12% GOOGL $279.98 -1.32% META $619.94 -1.03% AMZN $256.62 -0.44%
← Към новините

OpenBMB представи езиковия модел MiniCPM5-2B

OpenBMB представи MiniCPM5-2B — плътен каузален езиков модел с 2,516,756,480 параметра и естествен контекст от 131,072 токена. Той използва стандартна архитектура LlamaForCausalLM, 42 слоя и групирано-внимание с 16 заявъчни глави и две глави за ключове и стойности. Моделът е публикуван под лиценз Apache 2.0 и се поддържа от vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX и FlagOS.

В 34 реда от сравнителната таблица MiniCPM5-2B постига среден резултат 53.9, докато Qwen3.5-4B достига 51.1. Най-големите посочени предимства са при използването на инструменти и програмирането: 97.1 на τ²-Bench Telecom, 69.1 на LiveCodeBench v6 и 46.4 на SWE-bench Verified. Представянето е по-слабо при част от тестовете за общи знания, включително MMLU-Pro и Humanity’s Last Exam, а резултатите при дълъг контекст са смесени.

Обучението съчетава контролирано донастройване, подсилващо обучение и дистилация на политика в движение. Според OpenBMB е използвано SFT обучение с 400B токена, специализирани RL учители и 16 обединени RL експерти. Публикувани са и набори от данни, както и междинни контролни точки Base, Midtrain и SFT-only.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини