Sakhanda Wire
NVDA $154.93 -0.77% MSFT $505.37 -2.44% GOOGL $279.95 -1.33% META $618.13 -1.32% AMZN $257.42 -0.13%
← К новостям

Optima позволяет сравнивать ИИ-модели на собственых рабочих процессах

Компания Artificial Analysis запустила Optima — платформу для создания ИИ-бенчмарков под конкретные сценарии применения. Пользователь может загрузить собственные наборы данных, рабочие процессы и трассировки ИИ-агентов либо описать нужный сценарий, добавив примеры входных и выходных данных. Затем Optima предлагает тестовые задания и критерии оценки, которые можно проверить и скорректировать.

Платформа сопоставляет модели по качеству ответов, стоимости выполненной задачи и времени её выполнения. Поддерживаются оценка по рубрике с заданными критериями и попарное сравнение: пользователь отмечает предпочтительный ответ в части примеров, после чего система формирует рейтинг для всего набора. Для агентных приложений стоимость задачи может учитывать повторные попытки, сбои и последующую обработку, а не только цену токенов.

По данным Artificial Analysis, первые пользователи проверяли агентов для финансов и бухгалтерского учёта, соответствие юридическому стилю и распознавание объектов в закрытом наборе изображений. Плата за токены моделей взимается без наценки. Оценка по рубрике стоит $0.125 за критерий для одной модели, а попарное сравнение — $0.375. Компания подчёркивает, что качество бенчмарка зависит от его методики, репрезентативности заданий и корректного проведения оценки.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости