Optima позволява тестване на AI модели със собствени работни процеси
Artificial Analysis представи Optima — платформа за създаване на AI бенчмаркове, съобразени с конкретни приложения. Потребителите могат да използват свои набори от данни, работни процеси и записи от AI агенти или да опишат сценарий с примерни входове и изходи. След това платформата предлага тестови задачи и критерии за оценяване, които могат да бъдат прегледани и променени.
Optima сравнява моделите по качество на отговорите, цена за изпълнена задача и време за изпълнение. Налични са оценяване по рубрика с обективни критерии и по двойки, при което потребителят посочва предпочитания отговор в извадка, а системата изчислява класиране за целия набор. При агентни приложения този подход отчита и повторни опити, грешки и допълнителна обработка.
Според Artificial Analysis ранни потребители са тествали агенти за финанси и счетоводство, съответствие с юридически стил и разпознаване на елементи в частни изображения. Платформата начислява действителните разходи за токени без надценка. Оценяването по рубрика струва $0.125 за критерий и модел, а сравнението по двойки — $0.375. Полезността на резултата зависи от качеството на дизайна на бенчмарка и от реалната му представителност.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.