Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← До новин

Anthropic додала оцінювання плагінів до Claude Code

Anthropic представила робочий процес оцінювання плагінів у Claude Code. Команда claude plugin eval запускає плагін на реалістичних запитах, оцінює отриманий результат і порівнює його із запуском без завантаженого плагіна. Функція працює в Claude Code v2.1.269 та новіших версіях із плагінами, що містять маніфест plugin.json або .claude-plugin/plugin.json, а також із плагінами типу skills-directory. Виклики моделей для оцінювання та суддівської перевірки оплачуються з відповідного плану або API-акаунта.

Набір тестів зберігається в каталозі evals/ усередині плагіна. Кожен сценарій має файл prompt.md і папку graders; у метаданих можна вказати модель, максимальну кількість ходів, час очікування, теги та дозволені інструменти. Передбачено шість типів оцінювачів: regex, tool_used, tool_order, file_exists, llm і baseline. Перші чотири аналізують транскрипт або файли без додаткової оплати, а останні два викликають модель-суддю та збільшують витрати.

Типово кожен сценарій запускається з плагіном і без нього. Різниця Δ показує внесок плагіна, а оцінювач tool_used: Skill може засвідчити, чи активувалася навичка. Anthropic зазначає, що близьке до нуля Δ разом із провалом цього оцінювача може виявити проблему, яку перевірка маніфесту не помічає. Звіти містять результати для кожного оцінювача та голоси суддів. Для CI доступні поріг і ліміт витрат через --threshold і --max-cost-usd; для неперевіреного checkout у неінтерактивному режимі потрібен --trust-plugin.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини