Baidu выпустила ERNIE-5.5-Flash-Base с 280 миллиарда параметров

Baidu выпустила ERNIE-5.5-Flash-Base как открытую базовую модель с 280 миллиардами параметров. Она использует архитектуру mixture-of-experts, при этом для каждого входного запроса активируются 14 миллиардов параметров. Предварительное обучение проводилось на 33,5 триллиона токенов, а его контекст достигал 128 000 токенов.

Модель поставляется без дообучения и посттренинга. Baidu рассчитывает, что разработчики самостоятельно определят способы ее применения и адаптации; в дальнейшем должна появиться версия с посттренингом. При дообучении и выводе ответов модель рассчитана на контекст длиной до одного миллиона токенов.

В своих тестах Baidu сопоставила ERNIE 5.5 Flash Base с DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base, используя одинаковую процедуру оценки. Проверялись результаты в экзаменах, STEM, рассуждении, работе со знаниями, программировании, многоязычных задачах и задачах с длинным контекстом. По оценке Baidu, модель конкурирует с открытыми базовыми моделями сопоставимого размера в рассуждении, кодировании и работе с длинным контекстом. Веса доступны на Hugging Face в форматах FP8 и BF16.