Google выпустила TPU Sync для передачи KV-кэшей
Google Cloud выпустила TPU Sync — библиотеку на C++ с открытым исходным кодом под лицензией Apache-2.0. Она передаёт KV-кэши и веса моделей между HBM памяти TPU, закреплённой оперативной памятью хоста, общим хранилищем и сетью дата-центра, рассматривая их как единую иерархию. Асинхронный DMA сохраняет исходную раскладку тензоров по плиткам TPU. Для PyTorch и JAX доступны Python-пакеты.