Optima позволяет сравнивать ИИ-модели на собственых рабочих процессах
Компания Artificial Analysis запустила Optima — платформу для создания ИИ-бенчмарков под конкретные сценарии применения. Пользователь может загрузить собственные наборы данных, рабочие процессы и трассировки ИИ-агентов либо описать нужный сценарий, добавив примеры входных и выходных данных. Затем Optima предлагает тестовые задания и критерии оценки, которые можно проверить и скорректировать.
Платформа сопоставляет модели по качеству ответов, стоимости выполненной задачи и времени её выполнения. Поддерживаются оценка по рубрике с заданными критериями и попарное сравнение: пользователь отмечает предпочтительный ответ в части примеров, после чего система формирует рейтинг для всего набора. Для агентных приложений стоимость задачи может учитывать повторные попытки, сбои и последующую обработку, а не только цену токенов.
По данным Artificial Analysis, первые пользователи проверяли агентов для финансов и бухгалтерского учёта, соответствие юридическому стилю и распознавание объектов в закрытом наборе изображений. Плата за токены моделей взимается без наценки. Оценка по рубрике стоит $0.125 за критерий для одной модели, а попарное сравнение — $0.375. Компания подчёркивает, что качество бенчмарка зависит от его методики, репрезентативности заданий и корректного проведения оценки.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.