CopilotKit представя CLiF: платформа за непрекъснато обучение, която превръща следите от работата на агентите и действията на потребителите в умения, оценки и данни за дообучаване

Въведение

Екипите, които внедряват AI агенти в голям мащаб, постоянно се сблъскват със същия модел. Дори агентите, изградени върху първокласни модели като Fable и Astra, изпитват затруднения при последователното изпълнение на сложни задачи от край до край в рамките на конкретен продукт, достатъчно надеждно за внедряване. Затова екипите разработват множество тестове за най-важните работни процеси — често стотици или хиляди ръчно написани случаи — и след това подобряват агента стъпка по стъпка чрез редакции на подсказките, корекции на тестовата среда и специални случаи, докато той премине достатъчно от тях, за да бъде пуснат в действие.

Междувременно собствените потребители на продукта изпълняват същите задачи всеки ден и знаят кои действия да предприемат и в какъв ред. CopilotKit, компанията зад open-source рамката CopilotKit и протокола AG-UI, пусна CLiF — платформа за непрекъснато обучение от траектории от целия стек — в ранен достъп. CLiF сигурно улавя действията на агента и потребителите в продукта и превръща този запис в умения, производствени тестове и набори от данни за дообучение, като всичко може да бъде експортирано заедно със суровите траектории.

CopilotKit е с отворен код и има повече от 38 000 звезди в GitHub.

Накратко

Проследяването на агента показва къде той е сгрешил, докато правилният път се вижда в действията на потребителите в продукта — нещо, което повечето стекове изобщо не улавят.
CLiF, който вече е в ранен достъп, се обучава от траектории от целия стек: проследяването на агента и действията на потребителя в продукта, сигурно записани като една времева линия чрез AG-UI.
Цикълът от четири етапа, изграден върху Automatic Learning на CopilotKit, превръща тези траектории от целия стек в умения, производствени тестове, набори от данни за дообучение и сурови експорти, като човек преглежда всяко умение.
Практически пример показва как агентите се научават да работят по начина, по който ръководителите на екипи действително приключват спринт.
CLiF е насочен към проблемите, които забавят екипите за агенти, включително тестовете, прекомерния контекст, разходите, фрагментираните стекове и използването на сенчест AI, и работи изцяло в собствена инфраструктура.

Какво пропуска проследяването на агентите

Днес повечето решения за наблюдение на агентите са съсредоточени върху самия агент. Инструментите за проследяване записват подсказките, извикванията на инструменти и изходите на модела, което показва къде агентът е сгрешил, но оставя правилния път извън полезрението. Продуктовата аналитика обхваща другата страна чрез кликове, фунии и повторения на сесиите, но тези данни са създадени за човек, който разглежда табло, а не за обучение на агент да изпълнява задача или за неговото тестване. В повечето производствени стекове за агенти двете никога не се оказват на една и съща времева линия.

Тази празнина е важна, защото агентът се обучава за даден продукт чрез подсказки, умения, описания на инструменти и изложени API, а сам трябва да разбере как тези елементи се съчетават при реална задача. Хората, които използват продукта, вече са решили този проблем — често стотици пъти. Според виждането на CopilotKit, изложено в обяснението му за обучението на агенти, начинът, по който потребителите действително вършат работата си, е най-ценният набор от данни за всеки екип, разработващ агенти, но той рядко се улавя във форма, от която агентът може да се обучава.

Траектории от целия стек: обучаващият сигнал, върху който е изграден CLiF

CLiF е част от CopilotKit Intelligence и е изграден около един основен примитив — траекторията от целия стек. Тя се улавя чрез AG-UI (протокол за взаимодействие между агент и потребител), отворения протокол, създаден от CopilotKit за свързване на агенти с приложения, предназначени за потребители. Тъй като AG-UI се намира между агента и потребителя на всяка повърхност, той може да вижда и двете страни на задачата:

Траектория на агента (проследяване на агента): всяко изпълнение, извикване на инструмент и промяна на състоянието, извършени от агента, както и върнатият резултат от всяко от тях.
Траектория на продукта (действия на потребителя): какво е било на екрана на потребителя, кои бутони е натиснал и какви заявки към сървъра е задействал. Ако потребителят разговаря с агента по време на процеса, този разговор попада на същата времева линия в правилния ред.

Заедно те представляват траектория от целия стек.

AG-UI вече предава поточно събитията на агента към интерфейса, така че сигурното улавяне на действията на потребителя чрез същия протокол поставя двете половини в един поток още от самото начало, без по-късно да е необходимо свързването им чрез отделен аналитичен конвейер. Всяка потребителска сесия се превръща в една траектория, която екипът може да отвори в CopilotKit Intelligence и да възпроизведе стъпка по стъпка — с кликовете, заявките към сървъра и съобщенията на агента в реда, в който са се случили.

Вътре в CLiF: от траектории към умения, тестове и обучаващи данни

CopilotKit описва цикъла на обучение в четири етапа.

1. Улавяне. Траекториите се предават поточно към CopilotKit Intelligence и се причисляват към контейнери за обучение, които ограничават обучението до един вид работа, например поддръжка по фактуриране или въвеждане на нови клиенти. Средата избира контейнера за всяка сесия чрез callback функцията getTrajectoryLearningContainerIds, а по-късно сесиите могат да бъдат премествани в контейнер или извън него от интерфейса на Intelligence. Всеки контейнер се обучава само от собствените си сесии.

2. Откриване на модели. Анализът се изпълнява по график, след като контейнерът премине определен праг от нови сесии, а екипите могат да го стартират и ръчно. Всяко изпълнение работи със замразена снимка на сесиите в контейнера и извежда Insights: повтарящи се заявки, многократни корекции и затрудненията, които потребителите тихо заобикалят. CopilotKit разглежда тези затруднения като най-силния сигнал, тъй като те обикновено се повтарят в хиляди сесии и показват точно какво трябва да научи агентът следващо. Всеки Insight посочва конкретните събития, които стоят зад него, и води директно към изходната траектория.

3. Преглед. Когато доказателствата подкрепят урок, който може да се използва многократно, CLiF го предлага като умение, записано като обикновен файл SKILL.md. Услугата за анализ не може сама да публикува нищо: човек одобрява или отхвърля всяко предложение — или в интерфейса на Intelligence, или чрез CLI на CopilotKit. Публикуваните умения се управляват по версии и могат да бъдат деактивирани по всяко време.

4. Доставка и експортиране. Публикуваните умения достигат до агента без ново внедряване, а екипите, които се нуждаят от стабилност, могат да фиксират агента към конкретна версия на умението. За всеки друг агент или MCP сървър уменията могат да бъдат изтеглени като обикновени файлове чрез copilotkit skills download <container> –output <dir>. Самите траектории могат да бъдат експортирани като необработени данни за събития от таблото на Intelligence. За екипите в ранен достъп същият конвейер също създава кандидати за тестове и набори от данни за дообучение от тези траектории.

Траектории на агента: Automatic Learning в CopilotKit Intelligence

От страна на агента CLiF се основава на Automatic Learning — възможността в CopilotKit Intelligence, която CopilotKit също представя като основа за самоусъвършенстващи се агенти. Automatic Learning се обучава от разговорите, които потребителите водят с агента. CLiF разширява същия цикъл към траекториите на продукта, така че се обучава и от работата, която потребителите извършват директно в продукта, извън чата.

Всеки разговор с агента се съхранява изцяло чрез AG-UI Streams: съобщения, извиквания на инструменти, генеративен интерфейс, състояние, одобрения и файлове. Разработчиците избират кои нишки да се считат за доказателства, като връщат идентификатор на контейнер от callback функцията getLearningContainerId в средата CopilotKit — еквивалента от страна на агента на callback функцията за траекториите. Екипите, които вече имат агент в производство, могат да импортират съществуваща история от LangGraph Server или LangSmith Deployment, вместо да започват от нулата.

Доставката на умения работи чрез адаптери за LangGraph (Python и TypeScript), Mastra, Google ADK, Microsoft Agent Framework, вградения агент на CopilotKit и други. Адаптерът добавя каталог и два инструмента — copilotkit_load_skill и copilotkit_read_skill_file — а моделът зарежда умение, когато задачата го изисква. Инструкциите на разработчика имат предимство, така че уменията не могат да отменят ролята на агента, правилата за безопасност или ограниченията за инструментите.

Отвъд уменията: тестове, данни за дообучение и необработени траектории

Уменията са само първият резултат. Същите траектории захранват общо четири резултата, които могат да бъдат експортирани към съществуващия стек на екипа:

Умения за агенти или MCP сървъри, изградени от модели, които се повтарят в множество сесии.
Производствени тестове, създадени от задачи, които потребителите действително са изпълнили, включително входните данни и граничните случаи, за които никой не се е сетил да напише тест ръчно. Те могат да бъдат експортирани към платформата за тестове, която екипът вече използва.
Набори от данни за дообучение, извлечени от реални траектории на задачи и предназначени за обучение на по-малки, по-бързи отворени модели върху най-често срещаните работни процеси на компанията.
Необработени траектории от целия стек, които могат да бъдат експортирани към всяка платформа за наблюдение или използвани по начин, избран от екипа.

Според CopilotKit екипите трябва да запазят инструментите за тестове и наблюдение, които вече използват, а CLiF предоставя данните, които тези инструменти досега не са имали.

CLiF в действие: практически пример

Да кажем, че сте технически директор на платформа за управление на проекти, подобна на Linear, в която инженерните екипи планират спринтове и проследяват задачи. Искате агентите да поемат рутинната работа във вашия продукт и да я изпълняват надеждно — както вграденият ви агент, така и външни агенти като Claude, които клиентите свързват чрез вашия MCP сървър. Приключването на спринт е една от първите задачи в списъка.

Платформата ви вече има опция с едно щракване, която премества всеки незавършен проблем в следващия спринт, а документацията ви описва приключването точно по този начин. Затова, когато агент бъде помолен да приключи спринт, той прави именно това и премества всички незавършени проблеми напред.

След като CLiF започне сигурно да улавя траекториите на продукта, хиляди приключвания показват, че ръководителите на екипи във вашата платформа правят повече от това. Повечето използват опцията с едно щракване, а след това прекарват следващите няколко минути в коригиране на резултата:

Връщат проблемите, които вече веднъж са били прехвърлени, обратно в изоставените задачи и премахват назначенията им.
Коментират блокираните проблеми и отбелязват човека, който отговаря за блокиращия фактор.

Никой от екипа ви не е проектирал тази рутина и малко потребители биха я описали, ако бъдат попитани. Тя съществува единствено в кликовете и заявките, които следват преместването с едно щракване. Проследяванията на агента никога не я виждат, защото потребителите я изпълняват сами. Продуктовата аналитика записва допълнителните кликове, но не и тяхното значение, а откриването на модела в повторенията на сесиите би означавало да бъдат гледани хиляди записи.

CLiF извежда рутината като Insight, посочва точните сесии, които стоят зад нея, и предлага умение за цялостното приключване. След като екипът ви го прегледа и публикува, вграденият ви агент го усвоява без ново внедряване, а вие внедрявате същото умение с MCP сървъра си, така че Claude и другите свързани агенти също да го следват. С промяната на потребителските навици новите сесии поддържат умението актуално, а Insight ви показва и къде собственият ви функционален компонент не достига.

Същите сесии се превръщат в тестови случаи, които проверяват дали агентът обработва всеки проблем по начина, по който го правят ръководителите на екипи във вашата платформа, така че да можете да потвърдите готовността на агентите, преди да им възложите задачата. Те могат да се превърнат и в обучаващи данни, ако по-късно дообучите по-малък модел за планиране на работа.

Как CLiF адресира проблемите, които забавят екипите за агенти през 2026 г.

За техническите ръководители, които управляват агенти в голям мащаб, CopilotKit представя CLiF като отговор на познат набор от проблеми.

Преодоляване на тестовете от страна на агентите: За повечето екипи най-бавната част от внедряването на агент е той да премине достатъчно тестове за важните работни процеси. Уменията, научени от начина, по който потребителите изпълняват тези работни процеси, дават на агента липсващите стъпки. Производствените тестове след това добавят граничните случаи, с които потребителите се сблъскват на практика, така че наборът от тестове продължава да се разраства с реалната употреба.
Прекомерен контекст и твърде много инструменти: Всяка грешка на агента обикновено води до още едно правило в системната подсказка или още един инструмент за агента. С течение на времето контекстът се запълва и поведението става по-трудно за прогнозиране. Вместо това CLiF съхранява наученото поведение в каталог с умения, а моделът зарежда дадено умение само когато задачата го изисква.
Разходи: Агентите обикновено стават по-скъпи с добавянето на инструменти и по-дълги подсказки. Наборите от данни за дообучение от реални траектории дават на екипите възможност да прехвърлят работните процеси с голям обем към по-малки и по-евтини отворени модели, а контейнерите за отделните работни процеси показват къде агентът изпитва затруднения и къде не.
Фрагментирани стекове: Големите организации рядко се спират на една рамка за агенти, а техните агенти живеят в уеб приложения, мобилни приложения, Slack и Teams. CLiF работи върху AG-UI, така че е съвместим с всяка среда за агенти и всеки модел под нея. AG-UI се поддържа от Google, Microsoft, Anthropic, Amazon и Oracle, както и от рамки, сред които LangChain, Mastra, Pydantic AI, Google ADK и други.
Приемане на агенти извън централния контрол: С разпространението на инструментите за агенти, инициирано от отделните екипи, става все по-трудно да се разбере какво е научил всеки агент и защо. Всяко умение на CLiF преминава през човешки преглед, може да бъде проследено до сесиите, от които произлиза, и се съхранява по версии с възможност за връщане назад. Цялата платформа може да работи и в собствената инфраструктура на компанията.

Проектиран за работа в собствена инфраструктура

CLiF може изцяло да бъде хостван в собствена инфраструктура. CopilotKit Intelligence може да бъде хостван самостоятелно в собствения Kubernetes клъстер на компанията чрез Helm chart или в AWS ECS и Fargate, със собствените Postgres, Redis и доставчик на идентичност на екипа, например Okta, Azure AD или Keycloak.

Траекториите, уменията и всичко научено от тях остават във VPC средата на компанията или в локалната ѝ инфраструктура, така че потребителската активност и проследяванията на агентите никога не трябва да напускат мрежата ѝ. Проследяванията могат също да бъдат насочвани към съществуващ OpenTelemetry колектор. CopilotKit Intelligence работи и в управляван облак за екипи, които искат най-бързата настройка.

Основни изводи

CopilotKit пусна CLiF — платформа за непрекъснато обучение от траектории от целия стек, която вече е в ранен достъп като част от CopilotKit Intelligence.
Начинът, по който потребителите вече вършат работата, е сигналът, който липсва на агентите. Траекториите от целия стек го улавят заедно с проследяването на агента на една времева линия чрез AG-UI.
CLiF превръща тези траектории в четири резултата: производствени тестове, набори от данни за дообучение на по-малки отворени модели, умения за агенти или MCP сървъри и необработени траектории за експортиране — всички съвместими със съществуващите стекове за тестове и наблюдение.
Човек преглежда всяко умение, а всяко от тях може да бъде проследено до изходните му сесии. Публикуваните умения достигат до агента без ново внедряване и могат да бъдат доставени с MCP сървър за външни агенти като Claude.
То е насочено към основните проблеми при работата с агенти в голям мащаб: преминаване на тестовете, прекомерен контекст, разходи, фрагментирани стекове и контрол върху наученото от всеки агент.
CLiF работи с всяка рамка за агенти и всеки модел чрез AG-UI и може изцяло да бъде хостван в собствена инфраструктура.

Екипите могат да научат повече, да заявят демонстрация или да поискат ранен достъп от страницата на CLiF.

Източници

_{Благодарим на екипа на CopilotKit за лидерството в мисленето и ресурсите за тази статия. Тази статия е спонсорирана от Copilokit.}

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.