Google представи TPU Sync за пренос на KV кешове
Google Cloud представи TPU Sync — C++ библиотека с отворен код под лиценз Apache-2.0 за преместване на KV кешове и тегла на модели между различни нива памет в Cloud TPU. Тя обединява TPU HBM, фиксирана хост DRAM, споделено хранилище и мрежата на центъра за данни в обща йерархия. Асинхронният DMA пренос запазва оригиналното разпределение на тензорите по TPU плочките. Предлагат се и Python пакети за PyTorch и JAX.
TPU Sync е предназначена за прехвърляне на KV състоянието при инференция, както и за разпространяване на тегла от обучаващи към семплиращи възли при обучение с подсилване. Библиотеката се интегрира с vLLM-TorchTPU, SGLang-TorchTPU, llm-d в GKE и JAX. Хранилището и преносът на тегла за обучение с подсилване са експериментални, а README файлът все още не препоръчва обща употреба.
При вътрешни тестове на Google от юли 2026 г. върху TPU v7x латентността при пренос на KV кеш за Qwen3 235B е спаднала от няколко секунди до около 230 милисекунди. Компанията отчита над 90% по-ниски разходи за пренос при модели MoE с 235B и 480B параметъра. Средното време до първия токен е намаляло съответно с 60% и 90% при ниска конкурентност. Google уточнява, че реалните резултати може да се различават.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.