Sakhanda Wire
NVDA $154.93 -0.77% MSFT $505.37 -2.44% GOOGL $279.95 -1.33% META $618.13 -1.32% AMZN $257.42 -0.13%
← Към новините

Optima позволява тестване на AI модели със собствени работни процеси

Artificial Analysis представи Optima — платформа за създаване на AI бенчмаркове, съобразени с конкретни приложения. Потребителите могат да използват свои набори от данни, работни процеси и записи от AI агенти или да опишат сценарий с примерни входове и изходи. След това платформата предлага тестови задачи и критерии за оценяване, които могат да бъдат прегледани и променени.

Optima сравнява моделите по качество на отговорите, цена за изпълнена задача и време за изпълнение. Налични са оценяване по рубрика с обективни критерии и по двойки, при което потребителят посочва предпочитания отговор в извадка, а системата изчислява класиране за целия набор. При агентни приложения този подход отчита и повторни опити, грешки и допълнителна обработка.

Според Artificial Analysis ранни потребители са тествали агенти за финанси и счетоводство, съответствие с юридически стил и разпознаване на елементи в частни изображения. Платформата начислява действителните разходи за токени без надценка. Оценяването по рубрика струва $0.125 за критерий и модел, а сравнението по двойки — $0.375. Полезността на резултата зависи от качеството на дизайна на бенчмарка и от реалната му представителност.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от The Decoder на

Прочетете оригинала в The Decoder ↗

Репортажът и изображението принадлежат на The Decoder и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини