GLM-5.3 лидирует в одном кибертесте, но уступает в двух других
Компания Zhipu, также работающая под названием Z.ai, 14 августа представила ориентированную на программирование модель GLM-5.3 и опубликовала результаты ее сравнения с конкурентами. В тесте CyberGym, где проверяется поиск и подтверждение уязвимостей по исходному коду, модель получила 84,5%. Это немного выше показателей Mythos 5 от Anthropic — 83,8% — и GPT-5.6 Sol от OpenAI — 83,6%.
В двух других проверках преимущество оказалось у Mythos 5. В ExploitBench GLM-5.3 набрала 54,4%, против 78,0% у Mythos 5 и 76,5% у GPT-5.6 Sol. В ExploitGym модель завершила 105 заданий за два часа и 130 за шесть часов; Mythos 5 выполнила 181 и 247 соответственно. Zhipu отмечает, что развитие возможностей идет быстрее всего в тех областях, где отставание модели остается наибольшим.
Результат CyberGym основан на одном запуске в режиме pass@1 для 1507 заданий; данные о разбросе не приведены. Компания также сообщила о 2436 уязвимостях в 269 проектах с открытым исходным кодом после экспертной проверки и устранения дубликатов. 53 случая раскрыты публично, а 2383 остаются под эмбарго. Zhipu намерена выпустить веса модели после оценки и усиления безопасности, однако на момент публикации этого еще не произошло.
Текст подготовлен ИИ Sakhanda Wire по материалу AI News. Факты, цитаты и полный контекст — в оригинальной статье ниже.