AutoSynthData создает данные для обучения корпоративных агентов
ServiceNow CoreAI представила AutoSynthData — систему для создания обучающих данных для агентов, работающих в корпоративных средах. Она нацелена на недостатки, связанные с конкретными инструментами, рабочими процессами, правилами и состоянием данных, которые могут оставаться даже у модели с широкими общими возможностями.
AutoSynthData проверяет целевую модель на диагностических заданиях и сопоставляет ее результаты с работой более сильной модели-учителя. Выявленные пробелы описываются в спецификационных картах, после чего система создает новые задания с разными запросами, объектами, начальными состояниями, сочетаниями инструментов и вариантами решения. Каждое задание содержит системную спецификацию, запрос пользователя и верификатор.
Перед принятием кандидаты проверяются на выполнимость, реалистичность и соответствующую сложность. Система запускает эталонные траектории, проверяет отказ в неправильных состояниях и направляет не прошедшие образцы на анализ и ограничленное исправление. Одобренные примеры могут использоваться для supervised fine-tuning, а отдельная фаза создает их варианты. Проверка партий отслеживает охват, разнообразие и повторяемость, направляя дальнейшую генерацию к сохраняющимся слабым местам модели. В статье процесс показан на наборе EnterpriseOps Gym.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.