Google випустила TPU Sync для передавання KV-кешів
Google Cloud випустила TPU Sync — бібліотеку C++ із відкритим кодом за ліцензією Apache-2.0. Вона переміщує KV-кеші та ваги моделей між HBM пам’яті TPU, закріпленою оперативною пам’яттю хоста, спільним сховищем і мережею дата-центру, об’єднуючи ці ресурси в одну ієрархію. Асинхронний DMA зберігає початкове компонування тензорів у TPU-плитках. Для PyTorch і JAX доступні Python-пакети.
TPU Sync призначена для передавання стану KV-кешу під час інференсу, а також для розсилання ваг від вузлів навчання до вузлів-семплерів у навчанні з підкріпленням. Бібліотека інтегрується з vLLM-TorchTPU, SGLang-TorchTPU, llm-d у GKE та JAX. Робота зі сховищем і передавання ваг для навчання з підкріпленням залишаються експериментальними, а README поки не рекомендує загальне використання.
У внутрішніх тестах Google у липні 2026 року на TPU v7x передавання KV-кешу для Qwen3 235B скоротилося з кількох секунд приблизно до 230 мілісекунд. Для MoE-моделей із 235B і 480B параметрів компанія повідомила про зниження затримки передавання більш ніж на 90%. За низької конкурентності середній час до першого токена зменшився на 60% і 90% відповідно. У тестах кешування префіксів зниження сягало 90%. Google зазначає, що результати в реальних системах можуть відрізнятися.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.