Baidu повідомила про результати системи ERNIE Evolve
Baidu представила ERNIE Evolve — автоматизовану дослідницьку систему для оптимізації коду навчання та інференсу штучного інтелекту. Отримавши репозиторій, мету й критерії оцінювання, вона обирає напрямки досліджень, змінює код і запускає експерименти. Прихований оцінювач і окремий рецензент мають підтвердити покращення, перш ніж його буде збережено. Baidu не розкрила, які мовні моделі використовують агенти, а саму систему не оприлюднено.
У публічних тестах ERNIE Evolve отримала 0.8763 validation BPB у NanoChat AutoResearch, досягла цільового значення втрат за 38.9 секунди в NanoGPT Speedrun Track 1 і виконала Track 3 за 2,590 кроків. У SOL-ExecBench система показала середній SOL 0.819, не досягнувши лідерського результату 0.827. За даними Baidu, публічні найкращі показники було перевищено за трьома з чотирьох метрик.
Після цього систему застосували до інференсу ERNIE-5.5-Flash. За чотири дослідницькі раунди швидкість генерації на Kunlunxin P800 сягнула 623.6% від базового рівня. Також повідомляється про зростання детермінованої пропускної здатності на 33.7% і прискорення декодування одного запиту на 14.9% без зміни точності. Результати та журнали опубліковано, однак система залишається закритою.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.