Вградените оценители на ИИ няма да са лесно решение, заяви ръководителят по политиките на Hugging Face

Лабораториите за изкуствен интелект заложиха репутацията си на сравнителното оценяване на моделите — уж неутралната и точна система от оценки, предназначени да измерят дали един продукт с изкуствен интелект е по-добър от друг.

Методите зад тези оценки обаче са сложни и все още се развиват, заяви Ирен Солайман, главен директор „Политики“ на Hugging Face, по време на дискусия на TechCrunch Disrupt миналата седмица. Тестването трябва да се превърне в по-последователна научна област, ако индустрията иска да разчита на него в бъдеще.

Като имаме предвид това, можем ли да се доверим на настоящите тестове, които се публикуват?

„Доверието е термин с толкова много тежест“, каза Солайман. „Що се отнася до това дали можем да се доверим на резултатите, голяма част [от въпроса] е дали можете да възпроизведете резултатите от дадена оценка? Имате ли необходимото ниво на достъп до самия модел — именно тук отворените тегла играят голяма роля“, добави тя.

Възпроизводимостта при оценяването на модели отдавна остава един от по-трудните аспекти на сравнителното оценяване — и продължава да бъде тема на сериозни дебати в индустрията.

Освен валидността на отделния тест, съществува и допълнителният въпрос как този тест се сравнява с други оценки.

„Те са развиваща се научна област — не знаем как да ги сравняваме смислено помежду им“, каза Солайман.

„Те започват да стават неефективни сравнително бързо, а ние нямаме толкова добре развитата екосистема, от която се нуждаем“, добави тя. „В момента има силно желание за екосистема от вградени оценители, но критериите, които определят кой е ефективен оценител при различните задачи, се нуждаят от много по-голяма стандартизация.“

Идеята за вградени оценители — при която предполагаемо „неутрални“ наблюдатели от трети страни се поставят вътре в организациите за изкуствен интелект — се популяризира през последните няколко месеца, докато лабораториите за изкуствен интелект се справят с поредица от инциденти, свързани с безопасността, породили опасения относно потенциалните вреди от техните технологии. Hugging Face известно беше мишена на един от тези инциденти.

Вместо активна държавна регулация за установяване и ограничаване на опасенията относно безопасността на моделите, лабораториите настояват за решение от трета страна. Все още обаче съществуват съмнения доколко неутрални или ефективни ще бъдат тези оценители в действителност. Решението на Anthropic да наеме Accenture като своя първи оценител предизвика значителна негативна реакция, като някои критици осмяха идеята, че консултантската фирма е квалифицирана да изпълни въпросната задача.

Сега оценките се отдалечават от обикновен тест на самия модел и се превръщат в тест на цялата система около модела — включително инструментариума и агента. Инструментариумът — или инструментът, който потребителят използва за достъп до модела — по-специално има голямо значение за представянето на модела, а по-слаб модел с по-добър инструментариум лесно би могъл да надмине водещ модел, сподели Солайман.

„Оценките на агентите са наистина трудни и наистина скъпи“, каза Солайман. „Просто имаме повече оценки за моделите. … Нямаме толкова много оценки за инструментариумите и разработваме по-добри оценки за цялостния агент — защото именно от това много хора извличат стойност“, добави тя.

С други думи: в момента пространството на оценките е малко като свободна за всички надпревара и ако сравнителното оценяване ще продължи да се възприема като полезен инструмент от лидерите в индустрията, може да е необходим по-единен подход за цялата индустрия — при който всички са на една и съща страница — .