Anthropic добави оценяване на плъгини към Claude Code
Anthropic представи работен процес за оценяване на плъгини в Claude Code. Командата claude plugin eval изпълнява плъгина с реалистични заявки, оценява получения резултат и го сравнява с изпълнение, при което плъгинът не е зареден. Функцията работи с Claude Code v2.1.269 или по-нова версия и с плъгини, които имат манифест plugin.json или .claude-plugin/plugin.json, както и с плъгини от тип skills-directory. Извикванията към модели за оценяване и съдийска проверка се таксуват към съответния план или API акаунт.
Наборът от тестове се съхранява в директорията evals/ на плъгина. Всеки случай включва prompt.md и папка graders, а метаданните могат да задават модел, максимален брой ходове, време за изчакване, тагове и разрешени инструменти. Има шест типа оценители: regex, tool_used, tool_order, file_exists, llm и baseline. Първите четири използват транскрипта или файловете без допълнителна такса, докато последните два извикват съдийски модел.
По подразбиране всеки случай се изпълнява с плъгина и без него. Разликата Δ показва приноса на плъгина, а оценителят tool_used: Skill може да покаже дали умението се е активирало. Според Anthropic стойност на Δ близо до нула при неуспешен този оценител може да разкрие проблем, който проверката на манифеста не улавя. Резултатите съдържат оценки по критерии и съдийски гласове. В CI прагът и лимитът на разходите се задават с --threshold и --max-cost-usd.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.