Anthropic ускорила длинные запросы с помощью Message Threads

Anthropic выпустила Message Threads в формате публичного бета-тестирования на платформе Claude. Ранее каждый запрос к Messages API должен был заново содержать всю историю диалога. Теперь последующие запросы передают только изменения, внесённые после предыдущего сообщения. По данным Anthropic, для запросов объёмом от 500 000 до одного миллиона токенов это сокращает время до появления первого токена примерно на 35 процентов.

Компания считает, что функция особенно полезна агентам для программирования, агентам, работающим с компьютером, и процессам, обрабатывающим большие объёмы документов или изображений. Между запросами ветка хранится в памяти в зашифрованном виде и удаляется после пяти минут бездействия. Расход токенов не уменьшается: Claude по-прежнему читает всю историю разговора. Message Threads доступна в Claude, а также через AWS, Microsoft Foundry и Google Cloud.