Baidu випустила базову модель ERNIE 5.5 Flash на 280 млрд параметрів

Baidu випустила ERNIE 5.5 Flash Base — текстову розріджену модель Mixture-of-Experts із 280 млрд параметрів, з яких для кожного токена активуються 14 млрд. Опублікований чекпойнт містить лише результат попереднього навчання, без проміжного чи подальшого навчання. За даними Baidu, модель навчали з нуля на 33,5 трлн токенів за допомогою оптимізатора Muon. Контекст під час навчання становить 128K токенів, а для донавчання та інференсу — до 1 млн токенів.

Модель має 43 шари. У 37 використовується Heavily Compressed Attention, яка зберігає один запис на кожні 128 токенів, а ще шість поєднують Multi-head Latent Attention із розрідженою увагою. Кожен MoE-шар містить 512 маршрутизованих експертів, обирає 10 із них і має одного спільного експерта. ECHO повторно використовує фінальний шар для прогнозування наступних токенів і спекулятивного декодування. Додаткові 0,36 млрд параметрів ECHO не входять до заявленого загального показника.

У єдиному тестуванні Baidu, результати якого компанія називає власними, модель показала найкращий результат у 24 із 30 базових бенчмарків. Серед показників — 78,4 на MMLU-Pro та 82,3 на HumanEval+. Ваги доступні у форматах FP8 і BF16 на Hugging Face та ModelScope. Baidu описує запуск через SGLang і vLLM; модель працює через інтерфейс completions, а не чату. Ліцензія безкоштовна для організацій із доходом до US$50M, але не поширюється на ЄС, Велику Британію та Південну Корею.