Baidu випустила ERNIE-5.5-Flash-Base із 280 мільярдами параметрів

Baidu випустила ERNIE-5.5-Flash-Base як відкриту базову модель із 280 мільярдами параметрів. Вона використовує архітектуру mixture-of-experts, у якій для кожного вхідного запиту активуються 14 мільярдів параметрів. Модель попередньо навчали на 33,5 трильйона токенів, а довжина контексту під час навчання сягала 128 000 токенів.

Модель постачається без донавчання та посттренінгу. Baidu очікує, що розробники самостійно визначатимуть напрямки її використання й адаптації; згодом має вийти версія з посттренінгом. Під час донавчання та роботи модель розрахована на контекст обсягом до одного мільйона токенів.

У своїх тестах Baidu порівняла ERNIE 5.5 Flash Base із DeepSeek-V4-Flash-Base, Hy3-preview-Base та MiMo-V2.5-Base за єдиною процедурою оцінювання. Перевірялися іспити, STEM, міркування, знання, програмування, багатомовні завдання та робота з довгим контекстом. За оцінкою Baidu, модель конкурує з відкритими базовими моделями подібного розміру у міркуванні, написанні коду та завданнях із довгим контекстом. Ваги доступні на Hugging Face у форматах FP8 і BF16.