Чотири механізми допомагають агентам зберігати контекст у тривалих завданнях
Під час тривалих завдань агенти, які багаторазово викликають інструменти, можуть переповнити контекстне вікно й втратити початкову мету з поля недавньої уваги моделі. У статті зазначається, що основне рішення міститься в так званому harness-шарі, а не обов’язково в самій мовній моделі. Цей шар керує контекстом, станом і пам’яттю агента.
Перший механізм — розподіл контекстного бюджету. Deep Agents переносить відповіді інструментів обсягом понад 20 000 токенів до файлової системи, залишаючи шлях і попередній перегляд перших 10 рядків. Коли вікно заповнюється на 85%, старі операції редагування також можуть замінюватися вказівниками. Компресія узагальнює діалог, а Claude Code повторно завантажує нещодавні файли та правила. OpenAI і Claude надають подібні функції на рівні API.
Файл todo або інша змінювана нотатка підтримує актуальність цілей між узагальненнями, хоча оцінювання LangChain не показало користі від увімкнених todos у всіх випадках. Постійна пам’ять допомагає під час наступних сесій, але дослідження ETH Zurich зафіксувало зростання витрат на інференс на 20–23% для контекстних файлів у двох тестах. Стаття рекомендує перевіряти ці механізми примусовою компресією та тестами збереження і відновлення мети.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.