Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← К новостям

Anthropic добавила оценку плагинов в Claude Code

Anthropic представила рабочий процесс для оценки плагинов в Claude Code. Команда claude plugin eval запускает плагин на реалистичных запросах, оценивает полученный результат и сравнивает его с запуском без загруженного плагина. Возможность работает в Claude Code v2.1.269 и более поздних версиях с плагинами, содержащими манифест plugin.json или .claude-plugin/plugin.json, а также с плагинами типа skills-directory. Все вызовы моделей для оценки и судейской проверки оплачиваются из соответствующего тарифного плана или API-аккаунта.

Набор тестов размещается в каталоге evals/ внутри плагина. Каждый сценарий содержит prompt.md и папку graders; в метаданных можно указать модель, максимальное число ходов, тайм-аут, теги и разрешённые инструменты. Поддерживаются шесть типов оценщиков: regex, tool_used, tool_order, file_exists, llm и baseline. Первые четыре анализируют транскрипт или файлы без дополнительной оплаты, а последние два обращаются к модели-судье и увеличивают расходы.

По умолчанию каждый сценарий запускается с плагином и без него. Разница Δ показывает вклад плагина, а оценщик tool_used: Skill может указать, сработал ли навык. Anthropic отмечает, что близкое к нулю значение Δ вместе с провалом этого оценщика может выявить проблему, которую проверка манифеста не обнаруживает. В отчётах есть результаты по каждому оценщику и голоса судей. Для CI доступны порог и ограничение расходов через --threshold и --max-cost-usd; в неинтерактивной среде для непроверенного репозитория требуется --trust-plugin.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости