Baidu пусна ERNIE-5.5-Flash-Base с 280 милиарда параметъра

Baidu представи ERNIE-5.5-Flash-Base като отворен базов модел с 280 милиарда параметъра. Архитектурата му е тип mixture-of-experts, като за всеки вход се активират 14 милиарда параметъра. Моделът е предварително обучен върху 33,5 трилиона токена, а контекстът при обучението достига 128 000 токена.

Моделът се предоставя без фина настройка и последващо обучение. Според Baidu разработчиците трябва сами да определят приложенията и адаптациите му, а по-късно се очаква версия с последващо обучение. При фина настройка и използване моделът е проектиран да поддържа контекст до един милион токена.

В тестовете Baidu сравнява ERNIE 5.5 Flash Base с DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base чрез една и съща оценъчна процедура. Проверени са изпити, STEM, разсъждение, знания, програмиране, многоезична работа и задачи с дълъг контекст. По данни на Baidu моделът е конкурентен на сходни по размер отворени базови модели при разсъждение, кодиране и дълъг контекст. Теглата са достъпни в Hugging Face във формати FP8 и BF16.