Baidu сообщила о результатах системы ERNIE Evolve
Baidu представила ERNIE Evolve — автоматизированную исследовательскую систему для оптимизации кода обучения и инференса ИИ. Получив репозиторий, цель и критерии оценки, она выбирает направления работы, изменяет код и запускает эксперименты. Скрытый оценщик и отдельный рецензент должны подтвердить улучшение, прежде чем оно будет сохранено. Baidu не раскрыла, какие языковые модели используют агенты, а сама система не опубликована.
В публичных испытаниях ERNIE Evolve получила 0.8763 validation BPB в NanoChat AutoResearch, достигла целевого значения потерь за 38.9 секунды в NanoGPT Speedrun Track 1 и выполнила Track 3 за 2,590 шагов. В SOL-ExecBench система показала средний SOL 0.819, уступив лидеру с результатом 0.827. По данным Baidu, публичные лучшие показатели были превзойдены по трем из четырех метрик.
Затем систему применили к инференсу ERNIE-5.5-Flash. После четырех раундов скорость генерации на Kunlunxin P800 достигла 623.6% от базового уровня. Также сообщается о росте детерминированной пропускной способности на 33.7% и ускорении декодирования одной заявки на 14.9% при сохранении точности. Опубликованы результаты и журналы экспериментов, но сама система остается закрытой.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.