Baidu пусна базовия модел ERNIE 5.5 Flash с 280 млрд. параметъра

Baidu представи ERNIE 5.5 Flash Base — текстов разреден Mixture-of-Experts модел с общо 280 млрд. параметъра, от които 14 млрд. се активират за всеки токен. Публикуваните тегла са само от предварителното обучение, без междинно или последващо обучение. Според Baidu моделът е обучен от нулата върху 33,5 трлн. токена с оптимизатора Muon. Контекстът при обучението е 128K токена, а при дообучаване и извеждане достига 1 млн. токена.

Архитектурата има 43 слоя. В 37 от тях се използва Heavily Compressed Attention, която кешира един запис на всеки 128 токена, а останалите шест комбинират Multi-head Latent Attention със sparse attention. Всеки MoE слой включва 512 маршрутизирани експерта, избира 10 от тях и има един споделен експерт. ECHO използва повторно последния слой за прогнозиране на бъдещи токени и спекулативно декодиране; неговите 0,36 млрд. параметъра не са включени в общия брой.

В единния тестов процес на Baidu, чиито резултати са самодекларирани, моделът е водещ в 24 от 30 базови бенчмарка. Резултатите му включват 78,4 на MMLU-Pro и 82,3 на HumanEval+. Теглата са достъпни във формати FP8 и BF16 през Hugging Face и ModelScope. Документирано е използване със SGLang и vLLM през completions интерфейс, а не чат. Лицензът е безплатен за организации с приходи под US$50M, но не важи за ЕС, Обединеното кралство и Южна Корея.