Google выпустила TPU Sync для передачи KV-кэшей
Google Cloud выпустила TPU Sync — библиотеку на C++ с открытым исходным кодом под лицензией Apache-2.0. Она передаёт KV-кэши и веса моделей между HBM памяти TPU, закреплённой оперативной памятью хоста, общим хранилищем и сетью дата-центра, рассматривая их как единую иерархию. Асинхронный DMA сохраняет исходную раскладку тензоров по плиткам TPU. Для PyTorch и JAX доступны Python-пакеты.
Библиотека рассчитана на перенос состояния KV-кэша во время инференса и на рассылку весов от обучающих узлов к узлам-сэмплерам в задачах обучения с подкреплением. Она интегрируется с vLLM-TorchTPU, SGLang-TorchTPU, llm-d в GKE и JAX. Компоненты для работы с хранилищем и передачи весов в обучении с подкреплением пока экспериментальны; README не рекомендует библиотеку для общего применения.
Во внутренних тестах Google в июле 2026 года на TPU v7x перенос KV-кэша для Qwen3 235B занял около 230 миллисекунд вместо нескольких секунд. Для MoE-моделей на 235B и 480B параметров компания сообщила о снижении задержки передачи более чем на 90%. При низкой конкуренции среднее время до первого токена уменьшилось на 60% и 90% соответственно. Для сценариев с кэшированием префиксов снижение достигало 90%. Google предупреждает, что результаты в реальных системах могут отличаться.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.