Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← К новостям

Perplexity сообщила о снижении ошибок вызова инструментов

Perplexity Research описала метод дообучения агента Computer на реальных пользовательских сессиях, включая неудачные. Подход объединяет дообучение с выборкой успешных примеров и самодистилляцию, направляемую подсказками. В живом A/B-тесте доля ошибок вызова инструментов снизилась с 2,24% до 1,77% между двумя обученными контрольными точками. Команда назвала это статистически значимым относительным снижением на 21,2%. Сильная неудовлетворённость изменилась с 2,58% до 2,54%, и эта разница не была значимой.

Каждый ход ассистента относят к одной из трёх категорий: имитация, исправление или сохранение только в контексте. Корректные ходы успешных сессий получают обучение с cross-entropy, а ошибочные ходы с проверенной подсказкой — цель на основе прямой дивергенции Kullback–Leibler. Учитель видит подсказку, ученик — нет; оба проходят записанный ход с teacher forcing. Подсказка должна опираться на сведения, доступные до возникновения ошибки.

В офлайн-проверке частота ошибок составила 0,87% для варианта RFT с OPSD, против 2,79% у стандартного GLM 5.2 и 1,35% у одного RFT. При этом наборы данных для контрольных точек различались. Сессии с персональными данными и пользователи, отказавшиеся от участия, исключаются. Веса и код не опубликованы: модель доступна только как вариант в Perplexity Computer, тогда как GLM 5.2 открыто представлен на Hugging Face.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости