Sakhanda Wire
NVDA $154.93 -0.77% MSFT $505.37 -2.44% GOOGL $279.95 -1.33% META $618.13 -1.32% AMZN $257.42 -0.13%
← До новин

Optima дає змогу тестувати моделі ШІ на власних робочих процесах

Artificial Analysis запустила Optima — платформу для створення бенчмарків ШІ під конкретні сценарії використання. Користувачі можуть завантажувати власні набори даних, робочі процеси й трасування ШІ-агентів або описати потрібний сценарій із прикладами вхідних і вихідних даних. Платформа формує пропозиції щодо тестових завдань і критеріїв, які можна переглянути та уточнити до запуску перевірки.

Optima порівнює моделі за якістю відповідей, вартістю виконаної задачі та часом її виконання. Доступне оцінювання за рубрикою з визначеними критеріями, а також попарне порівняння: користувачі вказують кращу відповідь у частині прикладів, після чого система будує рейтинг для всього набору. Для агентних застосунків загальна вартість може враховувати повторні спроби, невдалі виконання та додаткове доопрацювання.

За даними Artificial Analysis, перші користувачі тестували агентів для фінансів і бухгалтерського обліку, відповідність юридичному стилю та розпізнавання елементів у приватному наборі зображень. Платформа стягує фактичну вартість токенів без націнки. Оцінювання за рубрикою коштує $0.125 за критерій для моделі, а попарне оцінювання — $0.375 за порівняння. Надійність результатів залежить від методики, репрезентативності завдань і способу проведення оцінювання.

Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням The Decoder

Читати оригінал на The Decoder ↗

Репортаж і зображення належать The Decoder і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини