Gemini 4 Carbon возглавил MathArena, но оказался намного дороже
Gemini 4 Carbon от Google занял первое место в математическом бенчмарке MathArena. Это первый за некоторое время не принадлежащий OpenAI модель, возглавивший рейтинг. Он обошёл GPT-6.1 Sol от OpenAI, а Claude-Fable-5.2 компании Anthropic вышел на вторую позицию. Модели OpenAI пока недоступны публично, хотя, согласно сообщениям, недавно справлялись со сложными задачами, включая уравнения Навье — Стокса.
При использованной высокой настройке рассуждений ожидаемый результат Gemini 4 Carbon составил 85,4% ±3,0%. Для Claude-Fable-5.2 показатель равен 82,8% ±5,3%, а для GPT-6.1 Sol — 80,6% ±2,7%. Лучшей открытой моделью в таблице стала Kimi K3.1 Pro от Moonshot AI с результатом 54,3% ±5,8%.
Наиболее частая проблема Gemini — превышение установленного времени. Модель почти никогда не прекращает выполнение задания: в одном случае она запустила скрипт, который работал более одиннадцати часов без проверки прогресса. Тестовая конфигурация стоила $15,70 ±$1,33 — примерно в 15 раз дороже GPT-6.1 Sol, стоимость которого составила $1,07 ±$0,018. Цена Claude-Fable-5.2 достигла $40,20 ±$2,59, примерно в 40 раз больше.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.