Anthropic прискорила довгі запити завдяки Message Threads

Anthropic випустила Message Threads у форматі публічної бета-версії на платформі Claude. Раніше кожен запит до Messages API мав повторно містити всю історію розмови. Тепер наступні запити передають лише зміни, внесені після попереднього повідомлення. За даними Anthropic, для запитів обсягом від 500 000 до одного мільйона токенів це скорочує час до появи першого токена приблизно на 35 відсотків.

Компанія називає найімовірнішими користувачами функції агентів для програмування, агентів, що працюють із комп’ютером, і процеси, які обробляють великі обсяги документів або зображень. Між запитами гілка зберігається в пам’яті у зашифрованому вигляді та видаляється після п’яти хвилин бездіяльності. Витрати токенів не зменшуються, оскільки Claude і надалі читає всю історію розмови. Message Threads доступна в Claude, а також через AWS, Microsoft Foundry і Google Cloud.