Встроенные оценщики ИИ не станут простым решением, заявила руководитель по вопросам политики Hugging Face

Лаборатории, занимающиеся ИИ, поставили на карту свою репутацию, полагаясь на бенчмаркинг моделей — якобы нейтральную и точную систему оценок, призванную измерить, превосходит ли один продукт на базе ИИ другой.

Однако методы, лежащие в основе этих оценок, сложны и всё ещё находятся на стадии развития, заявила директор по вопросам политики Hugging Face Ирен Солайман во время дискуссии на TechCrunch Disrupt на прошлой неделе. Если индустрия хочет полагаться на них в будущем, тестирование должно превратиться в более последовательную научную дисциплину.

Учитывая это, можем ли мы доверять публикуемым сейчас тестам?

«Доверие — очень ёмкое понятие, — сказала Солайман. — Что касается того, можем ли мы доверять результатам, одна из ключевых составляющих [этого] — возможность воспроизвести результаты оценки. Есть ли у вас необходимый уровень доступа к самой модели? Именно здесь открытые веса играют огромную роль», — добавила она.

Воспроизводимость оценок моделей давно остаётся одним из наиболее сложных аспектов бенчмаркинга — и по-прежнему является предметом серьёзных дискуссий в индустрии.

Помимо достоверности отдельного теста, возникает также вопрос о том, как этот тест соотносится с другими оценками.

«Это развивающаяся наука — мы не знаем, как содержательно сравнивать их друг с другом», — сказала Солайман.

«Они довольно быстро становятся неэффективными, а у нас нет настолько развитой экосистемы, насколько это необходимо, — добавила она. — Сейчас существует большой спрос на встроенную экосистему оценки, но критерии, определяющие, кто является эффективным оценщиком для тех или иных задач, нуждаются в гораздо большей стандартизации».

Идея встроенных оценщиков — при которой якобы «нейтральные» сторонние наблюдатели размещаются внутри организаций, занимающихся ИИ, — получила широкое распространение за последние несколько месяцев, поскольку лаборатории ИИ столкнулись с чередой инцидентов, связанных с безопасностью, вызвавших обеспокоенность потенциальным вредом их технологий. Hugging Face прославилась тем, что стала целью одного из таких инцидентов.

Вместо активного государственного регулирования, направленного на выявление и снижение рисков для безопасности моделей, лаборатории выступили за решение с привлечением третьих сторон. Однако сомнения в том, насколько нейтральными или эффективными окажутся такие оценщики на практике, сохраняются. Решение Anthropic нанять Accenture в качестве своего первого оценщика вызвало немалую волну критики: некоторые критики высмеяли саму идею о том, что консалтинговая компания обладает достаточной квалификацией для выполнения этой задачи.

Теперь оценки смещаются от простой проверки самой модели к проверке всей системы вокруг неё — включая оболочку и агента. Оболочка — то есть инструмент, который пользователь применяет для доступа к модели, — в частности, существенно влияет на производительность модели, и более слабая модель с лучшей оболочкой вполне может легко превзойти передовую модель, сообщила Солайман.

«Оценивать агентные системы действительно сложно и дорого, — сказала Солайман. — У нас просто больше оценок для моделей. … У нас не так много оценок для оболочек, и мы разрабатываем более качественные оценки для комплексного агента — потому что именно благодаря этому многие получают ценность», — добавила она.

Иными словами, сейчас сфера оценок напоминает довольно свободный рынок, и если бенчмаркинг продолжит восприниматься лидерами индустрии как полезный инструмент, может потребоваться более единый общеотраслевой подход — при котором все будут придерживаться общих принципов.