Anthropic додала оцінювання плагінів до Claude Code
Anthropic представила робочий процес оцінювання плагінів у Claude Code. Команда claude plugin eval запускає плагін на реалістичних запитах, оцінює отриманий результат і порівнює його із запуском без завантаженого плагіна. Функція працює в Claude Code v2.1.269 та новіших версіях із плагінами, що містять маніфест plugin.json або .claude-plugin/plugin.json, а також із плагінами типу skills-directory. Виклики моделей для оцінювання та суддівської перевірки оплачуються з відповідного плану або API-акаунта.
Набір тестів зберігається в каталозі evals/ усередині плагіна. Кожен сценарій має файл prompt.md і папку graders; у метаданих можна вказати модель, максимальну кількість ходів, час очікування, теги та дозволені інструменти. Передбачено шість типів оцінювачів: regex, tool_used, tool_order, file_exists, llm і baseline. Перші чотири аналізують транскрипт або файли без додаткової оплати, а останні два викликають модель-суддю та збільшують витрати.
Типово кожен сценарій запускається з плагіном і без нього. Різниця Δ показує внесок плагіна, а оцінювач tool_used: Skill може засвідчити, чи активувалася навичка. Anthropic зазначає, що близьке до нуля Δ разом із провалом цього оцінювача може виявити проблему, яку перевірка маніфесту не помічає. Звіти містять результати для кожного оцінювача та голоси суддів. Для CI доступні поріг і ліміт витрат через --threshold і --max-cost-usd; для неперевіреного checkout у неінтерактивному режимі потрібен --trust-plugin.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.