Baidu выпустила базовую модель ERNIE 5.5 Flash на 280 млрд параметров

Baidu выпустила ERNIE 5.5 Flash Base — текстовую разреженную модель Mixture-of-Experts с 280 млрд параметров, из которых для каждого токена активируются 14 млрд. Опубликованный чекпойнт содержит только результат предварительного обучения, без промежуточного и последующего обучения. По данным Baidu, модель обучали с нуля на 33,5 трлн токенов с оптимизатором Muon. Длина контекста при обучении составляет 128K токенов, а для дообучения и инференса — до 1 млн токенов.

Модель включает 43 слоя. В 37 слоях применяется Heavily Compressed Attention, сохраняющая одну запись на каждые 128 токенов; еще шесть используют сочетание Multi-head Latent Attention и разреженного внимания. В каждом MoE-слое есть 512 маршрутизируемых экспертов, из которых выбираются 10, а также один общий эксперт. ECHO повторно использует последний слой для предсказания следующих токенов и спекулятивного декодирования. Дополнительные 0,36 млрд параметров ECHO не входят в заявленный общий объем.

В едином тестировании Baidu, результаты которого компания называет собственными, модель заняла первое место в 24 из 30 базовых бенчмарков. Среди показателей — 78,4 на MMLU-Pro и 82,3 на HumanEval+. Веса доступны в форматах FP8 и BF16 на Hugging Face и ModelScope. Для запуска Baidu описывает SGLang и vLLM; модель работает через интерфейс completions, а не чата. Лицензия бесплатна для организаций с выручкой менее US$50M, но исключает ЕС, Великобританию и Южную Корею.