Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← До новин

Google випустила TPU Sync для передавання KV-кешів

Google Cloud випустила TPU Sync — бібліотеку C++ із відкритим кодом за ліцензією Apache-2.0. Вона переміщує KV-кеші та ваги моделей між HBM пам’яті TPU, закріпленою оперативною пам’яттю хоста, спільним сховищем і мережею дата-центру, об’єднуючи ці ресурси в одну ієрархію. Асинхронний DMA зберігає початкове компонування тензорів у TPU-плитках. Для PyTorch і JAX доступні Python-пакети.

TPU Sync призначена для передавання стану KV-кешу під час інференсу, а також для розсилання ваг від вузлів навчання до вузлів-семплерів у навчанні з підкріпленням. Бібліотека інтегрується з vLLM-TorchTPU, SGLang-TorchTPU, llm-d у GKE та JAX. Робота зі сховищем і передавання ваг для навчання з підкріпленням залишаються експериментальними, а README поки не рекомендує загальне використання.

У внутрішніх тестах Google у липні 2026 року на TPU v7x передавання KV-кешу для Qwen3 235B скоротилося з кількох секунд приблизно до 230 мілісекунд. Для MoE-моделей із 235B і 480B параметрів компанія повідомила про зниження затримки передавання більш ніж на 90%. За низької конкурентності середній час до першого токена зменшився на 60% і 90% відповідно. У тестах кешування префіксів зниження сягало 90%. Google зазначає, що результати в реальних системах можуть відрізнятися.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини