Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← Към новините

Anthropic добави оценяване на плъгини към Claude Code

Anthropic представи работен процес за оценяване на плъгини в Claude Code. Командата claude plugin eval изпълнява плъгина с реалистични заявки, оценява получения резултат и го сравнява с изпълнение, при което плъгинът не е зареден. Функцията работи с Claude Code v2.1.269 или по-нова версия и с плъгини, които имат манифест plugin.json или .claude-plugin/plugin.json, както и с плъгини от тип skills-directory. Извикванията към модели за оценяване и съдийска проверка се таксуват към съответния план или API акаунт.

Наборът от тестове се съхранява в директорията evals/ на плъгина. Всеки случай включва prompt.md и папка graders, а метаданните могат да задават модел, максимален брой ходове, време за изчакване, тагове и разрешени инструменти. Има шест типа оценители: regex, tool_used, tool_order, file_exists, llm и baseline. Първите четири използват транскрипта или файловете без допълнителна такса, докато последните два извикват съдийски модел.

По подразбиране всеки случай се изпълнява с плъгина и без него. Разликата Δ показва приноса на плъгина, а оценителят tool_used: Skill може да покаже дали умението се е активирало. Според Anthropic стойност на Δ близо до нула при неуспешен този оценител може да разкрие проблем, който проверката на манифеста не улавя. Резултатите съдържат оценки по критерии и съдийски гласове. В CI прагът и лимитът на разходите се задават с --threshold и --max-cost-usd.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини