CopilotKit выпускает CLiF: платформу непрерывного обучения, превращающую трейсы агентов и действия пользователей в навыки, оценки и данные для дообучения

Введение

Команды, развертывающие ИИ-агентов в больших масштабах, постоянно сталкиваются с одной и той же закономерностью. Даже агенты, созданные на основе передовых моделей, таких как Fable и Astra, с трудом достаточно стабильно выполняют сложные сквозные задачи внутри конкретного продукта, чтобы их можно было внедрять. Поэтому команды создают подробные оценки для наиболее важных рабочих процессов — зачастую сотни или тысячи написанных вручную тестовых случаев — а затем постепенно улучшают агента с помощью правок промптов, исправлений оболочки и особых случаев, пока он не начнет проходить достаточное их количество для запуска.

Тем временем собственные пользователи продукта ежедневно выполняют те же задачи и знают, какие действия совершать и в каком порядке. CopilotKit, компания, стоящая за фреймворком с открытым исходным кодом CopilotKit и протоколом AG-UI, выпустила CLiF — платформу для непрерывного обучения на основе сквозных траекторий — в режиме раннего доступа. CLiF безопасно фиксирует действия агента и пользователей в продукте и превращает эти записи в навыки, оценки на основе данных эксплуатации и наборы данных для дообучения — все это можно экспортировать вместе с исходными траекториями.

CopilotKit имеет открытый исходный код и набрал более 38 000 звезд на GitHub.

Кратко

Трассировка агента показывает, где агент ошибся, тогда как правильный путь отражен в действиях пользователей в продукте — а большинство стеков их не фиксирует.
CLiF, теперь доступный в режиме раннего доступа, обучается на сквозных траекториях: трассировке агента и действиях пользователя в продукте, безопасно зафиксированных в единой временной шкале через AG-UI.
Четырехэтапный цикл, построенный на базе Automatic Learning от CopilotKit, превращает эти сквозные траектории в навыки, оценки на основе данных эксплуатации, наборы данных для дообучения и исходные выгрузки, при этом каждый навык проверяет человек.
Практический пример показывает, как агенты обучаются так, как руководители команд фактически завершают спринт.
CLiF нацелен на проблемы, замедляющие команды, работающие с агентами, включая оценки, разрастание контекста, затраты, фрагментированные стеки и неформальное использование ИИ, и полностью работает в инфраструктуре заказчика.

Что упускает трассировка агента

Сегодня большинство инструментов наблюдаемости агентов сосредоточено на самом агенте. Инструменты трассировки фиксируют промпты, вызовы инструментов и выходные данные модели, показывая, где агент ошибся, но оставляя правильный путь вне поля зрения. Продуктовая аналитика охватывает другую сторону с помощью кликов, воронок и записей сессий, однако эти данные предназначены для человека, изучающего панель мониторинга, а не для обучения агента выполнению задачи или его тестирования. В большинстве производственных стеков агентов эти два источника так и не оказываются на одной временной шкале.

Этот пробел важен, поскольку агент изучает продукт по промптам, навыкам, описаниям инструментов и доступным API и должен самостоятельно понять, как эти компоненты сочетаются для выполнения реальной задачи. Люди, использующие продукт, уже решили эту проблему — зачастую сотни раз. Согласно подходу CopilotKit, изложенному в его разъяснении об обучении агентов, способ, которым пользователи фактически выполняют работу, — самый ценный набор данных для любой команды, создающей агентов, однако его редко фиксируют в форме, на которой агент может обучаться.

Сквозные траектории: сигнал обучения, на котором построен CLiF

CLiF является частью CopilotKit Intelligence и построен вокруг одной базовой сущности — сквозной траектории. Она фиксируется через AG-UI (протокол взаимодействия агента и пользователя) — открытый протокол, созданный CopilotKit для подключения агентов к пользовательским приложениям. Поскольку AG-UI находится между агентом и пользователем на любой поверхности, он видит обе стороны задачи:

Траектория агента (трассировка агента): каждый запуск, вызов инструмента и изменение состояния, выполненные агентом, а также результат каждого из них.
Траектория продукта (действия пользователя): то, что отображалось на экране пользователя, нажатые им кнопки и инициированные им серверные запросы. Если по ходу работы пользователь общается с агентом, этот разговор попадает на ту же временную шкалу в соответствующем порядке.

Вместе это и составляет сквозную траекторию.

AG-UI уже передает события агента во фронтенд, поэтому безопасная фиксация действий пользователя через тот же протокол с самого начала помещает обе части в единый поток, без необходимости позже объединять их с помощью отдельного конвейера аналитики. Каждая пользовательская сессия становится единой траекторией, которую команда может открыть в CopilotKit Intelligence и воспроизвести пошагово, с кликами, серверными запросами и сообщениями агента в порядке их возникновения.

Внутри CLiF: от траекторий к навыкам, оценкам и обучающим данным

CopilotKit описывает цикл обучения в четыре этапа.

1. Сбор. Траектории поступают в CopilotKit Intelligence и назначаются контейнерам обучения, которые ограничивают обучение одним типом работы, например поддержкой по вопросам биллинга или адаптацией клиентов. Среда выполнения выбирает контейнер для каждой сессии через callback getTrajectoryLearningContainerIds, а позднее сессии можно перемещать в контейнер или из него в интерфейсе Intelligence. Каждый контейнер обучается только на собственных сессиях.

2. Поиск закономерностей. Анализ запускается по расписанию после того, как контейнер преодолевает заданный порог новых сессий, а команды также могут запускать его вручную. Каждый запуск работает с зафиксированным снимком сессий контейнера и выявляет инсайты: повторяющиеся запросы, неоднократные исправления и проблемы, которые пользователи незаметно обходят. CopilotKit считает такие проблемы наиболее сильным сигналом, поскольку они обычно повторяются в тысячах сессий и точно показывают, чему агенту следует научиться дальше. Каждый инсайт содержит ссылки на конкретные события, лежащие в его основе, и ведет непосредственно к исходной траектории.

3. Проверка. Когда свидетельства подтверждают наличие многократно используемого урока, CLiF предлагает его в качестве навыка, записанного в виде обычного файла SKILL.md. Сервис анализа не может самостоятельно ничего публиковать: человек одобряет или отклоняет каждое предложение либо в интерфейсе Intelligence, либо через CLI CopilotKit. Опубликованные навыки имеют версии и могут быть выведены из эксплуатации в любой момент.

4. Доставка и экспорт. Опубликованные навыки становятся доступны агенту без повторного развертывания, а команды, которым нужна стабильность, могут закрепить агента за определенной версией навыка. Для любого другого агента или MCP-сервера навыки можно скачать в виде обычных файлов с помощью copilotkit skills download <container> –output <dir>. Сами траектории можно экспортировать в виде исходных данных событий из панели Intelligence. Для команд, участвующих в программе раннего доступа, тот же конвейер также создает кандидатов для оценок и наборы данных для дообучения на основе этих траекторий.

Траектории агентов: автоматическое обучение в CopilotKit Intelligence

На стороне агента CLiF опирается на Automatic Learning — возможность CopilotKit Intelligence, которую CopilotKit также позиционирует как основу для самообучающихся агентов. Automatic Learning обучается на разговорах пользователей с агентом. CLiF расширяет тот же цикл на траектории продукта, поэтому система также учится на работе, которую пользователи выполняют непосредственно в продукте, за пределами чата.

Каждый разговор с агентом полностью сохраняется через AG-UI Streams: сообщения, вызовы инструментов, генеративный интерфейс, состояние, подтверждения и файлы. Разработчики выбирают, какие ветки считать свидетельствами, возвращая идентификатор контейнера из callback getLearningContainerId в среде выполнения CopilotKit — это аналог callback для траекторий на стороне агента. Команды, у которых агент уже работает в production, могут импортировать существующую историю из LangGraph Server или LangSmith Deployment вместо того, чтобы начинать с нуля.

Доставка навыков осуществляется через адаптеры для LangGraph (Python и TypeScript), Mastra, Google ADK, Microsoft Agent Framework, встроенного агента CopilotKit и других платформ. Адаптер добавляет каталог и два инструмента — copilotkit_load_skill и copilotkit_read_skill_file, — а модель загружает навык, когда этого требует задача. Инструкции разработчика имеют приоритет, поэтому навыки не могут переопределять роль агента, правила безопасности или ограничения на инструменты.

Помимо навыков: оценки, данные для дообучения и исходные траектории

Навыки — лишь первый результат. Те же траектории обеспечивают в общей сложности четыре результата, каждый из которых можно экспортировать в существующий стек команды:

Навыки для агентов или MCP-серверов, созданные на основе закономерностей, повторяющихся во множестве сессий.
Оценки на основе данных эксплуатации, созданные на основе задач, которые пользователи действительно выполняли, включая входные данные и пограничные случаи, о которых никто не подумал при написании тестов вручную. Их можно экспортировать на платформу оценок, которую команда уже использует.
Наборы данных для дообучения, сформированные из реальных траекторий выполнения задач и предназначенные для обучения небольших быстрых открытых моделей наиболее часто используемым рабочим процессам компании.
Исходные сквозные траектории, которые можно экспортировать на любую платформу наблюдаемости или использовать любым удобным для команды способом.

По мнению CopilotKit, команды должны сохранять уже используемые ими инструменты оценок и наблюдаемости, а CLiF предоставляет данным этим инструментам то, чего им не хватало.

CLiF в действии: практический пример

Представим, что вы — технический директор платформы управления проектами, похожей на Linear, где инженерные команды планируют спринты и отслеживают задачи. Вы хотите, чтобы агенты надежно взяли на себя рутинную работу в вашем продукте — как встроенный агент, так и внешние агенты вроде Claude, которых клиенты подключают через ваш MCP-сервер. Завершение спринта — одна из первых задач в списке.

На вашей платформе уже есть кнопка, которая одним нажатием переносит все незавершенные задачи в следующий спринт, и в документации завершение спринта описано именно так. Поэтому агент, которому поручено завершить спринт, делает это и переносит вперед все незавершенные задачи.

После того как CLiF начинает безопасно фиксировать траектории продукта, тысячи операций завершения спринта показывают, что руководители команд на вашей платформе делают больше. Большинство использует кнопку переноса, а затем в течение следующих нескольких минут исправляет результат:

Они возвращают в бэклог задачи, которые уже переносились ранее, и снимают с них назначение.
Они оставляют комментарии к заблокированным задачам, отмечая ответственного за блокирующую проблему.

Никто в вашей команде не проектировал этот процесс, и немногие пользователи описали бы его, если бы их спросили. Он существует только в кликах и запросах, следующих за переносом одним нажатием. Трассировки агентов его не видят, потому что пользователи выполняют эти действия сами. Продуктовая аналитика фиксирует дополнительные клики, но не их смысл, а обнаружение закономерности в записях сессий означало бы просмотр тысяч записей.

CLiF выявляет этот процесс как инсайт, ссылаясь на конкретные сессии, лежащие в его основе, и предлагает навык для полного завершения спринта. После проверки и публикации вашей командой встроенный агент подхватывает его без повторного развертывания, а вы поставляете тот же навык вместе с MCP-сервером, чтобы Claude и другие подключенные агенты также ему следовали. По мере изменения привычек пользователей новые сессии поддерживают актуальность навыка, а инсайт также показывает, где ваш собственный функционал не справляется.

Эти же сессии становятся тестовыми случаями, проверяющими, обрабатывает ли агент каждую задачу так, как это делают руководители команд на вашей платформе, чтобы вы могли убедиться в готовности агентов до передачи им задачи. Они также могут стать обучающими данными, если позднее вы дообучите небольшую модель для работы по планированию.

Как CLiF решает проблемы, замедляющие команды агентов в 2026 году

Для технических руководителей, управляющих агентами в больших масштабах, CopilotKit представляет CLiF как ответ на знакомый набор проблем.

Преодоление оценок агентами: Для большинства команд самой медленной частью запуска агента является достижение им достаточного результата в оценках по важным рабочим процессам. Навыки, изученные по тому, как пользователи выполняют эти процессы, дают агенту недостающие шаги. Оценки на основе данных эксплуатации затем добавляют пограничные случаи, с которыми пользователи сталкиваются на практике, поэтому набор тестов продолжает расти вместе с реальным использованием.
Разрастание контекста и перегрузка инструментами: Каждая ошибка агента обычно заканчивается добавлением еще одного правила в системный промпт или еще одного инструмента агенту. Со временем контекст переполняется, а поведение становится труднее предсказать. Вместо этого CLiF хранит изученное поведение в каталоге навыков, а модель загружает навык только тогда, когда этого требует задача.
Затраты: Агенты обычно становятся дороже по мере увеличения числа инструментов и длины промптов. Наборы данных для дообучения, созданные на основе реальных траекторий, позволяют перенести высокочастотные рабочие процессы на меньшие и более дешевые открытые модели, а контейнеры для отдельных рабочих процессов показывают, где агент испытывает трудности, а где — нет.
Фрагментированные стеки: Крупные организации редко останавливаются на одном фреймворке для агентов, а их агенты работают в веб-приложениях, мобильных приложениях, Slack и Teams. CLiF работает на базе AG-UI, поэтому совместим с любой оболочкой агента и любой лежащей в основе моделью. AG-UI поддерживают Google, Microsoft, Anthropic, Amazon и Oracle, а также такие фреймворки, как LangChain, Mastra, Pydantic AI, Google ADK и другие.
Использование агентов без централизованного контроля: По мере того как команды самостоятельно внедряют инструменты для агентов, становится сложнее понять, чему обучился каждый агент и почему. Каждый навык CLiF проходит проверку человеком, позволяет проследить историю до сессий, из которых он был получен, и сохраняется с версиями, которые можно отменить. Вся платформа также может работать внутри собственной инфраструктуры компании.

Изначально рассчитан на самостоятельное размещение

CLiF полностью поддерживает самостоятельное размещение. CopilotKit Intelligence можно разместить самостоятельно в собственном кластере Kubernetes компании с помощью Helm-чарта либо в AWS ECS и Fargate, используя собственные Postgres, Redis и поставщика удостоверений, например Okta, Azure AD или Keycloak.

Траектории, навыки и все полученные на их основе знания остаются внутри VPC компании или в локальной среде, поэтому пользовательская активность и трассировки агентов никогда не покидают ее сеть. Трассировки также можно направлять в существующий сборщик OpenTelemetry. CopilotKit Intelligence также работает в управляемом облаке для команд, которым нужна максимально быстрая настройка.

Ключевые выводы

CopilotKit выпустила CLiF — платформу для непрерывного обучения на основе сквозных траекторий, теперь доступную в режиме раннего доступа в составе CopilotKit Intelligence.
То, как пользователи уже выполняют работу, — это сигнал, которого не хватает агентам. Сквозные траектории фиксируют его вместе с трассировкой агента на одной временной шкале через AG-UI.
CLiF превращает эти траектории в четыре результата: оценки на основе данных эксплуатации, наборы данных для дообучения небольших открытых моделей, навыки для агентов или MCP-серверов и исходные траектории для экспорта — все совместимо с существующими стеками оценок и наблюдаемости.
Каждый навык проверяет человек, и каждый из них позволяет проследить источник до исходных сессий. Опубликованные навыки становятся доступны агенту без повторного развертывания и могут поставляться вместе с MCP-сервером для внешних агентов вроде Claude.
Платформа нацелена на основные проблемы работы агентов в больших масштабах: прохождение оценок, разрастание контекста, затраты, фрагментированные стеки и контроль того, чему научился каждый агент.
CLiF работает с любым фреймворком агентов и любой моделью через AG-UI и полностью поддерживает самостоятельное размещение.

Команды могут узнать больше, заказать демонстрацию или запросить ранний доступ на странице CLiF.

Источники

_{Благодарим команду Copilotkit за экспертные материалы и ресурсы для этой статьи. Эта статья спонсирована Copilokit.}

Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.