Google представи TPU Sync за пренос на KV кешове
Google Cloud представи TPU Sync — C++ библиотека с отворен код под лиценз Apache-2.0 за преместване на KV кешове и тегла на модели между различни нива памет в Cloud TPU. Тя обединява TPU HBM, фиксирана хост DRAM, споделено хранилище и мрежата на центъра за данни в обща йерархия. Асинхронният DMA пренос запазва оригиналното разпределение на тензорите по TPU плочките. Предлагат се и Python пакети за PyTorch и JAX.