Google випустила TPU Sync для передавання KV-кешів
Google Cloud випустила TPU Sync — бібліотеку C++ із відкритим кодом за ліцензією Apache-2.0. Вона переміщує KV-кеші та ваги моделей між HBM пам’яті TPU, закріпленою оперативною пам’яттю хоста, спільним сховищем і мережею дата-центру, об’єднуючи ці ресурси в одну ієрархію. Асинхронний DMA зберігає початкове компонування тензорів у TPU-плитках. Для PyTorch і JAX доступні Python-пакети.