Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← Към новините

Google представи TPU Sync за пренос на KV кешове

Google Cloud представи TPU Sync — C++ библиотека с отворен код под лиценз Apache-2.0 за преместване на KV кешове и тегла на модели между различни нива памет в Cloud TPU. Тя обединява TPU HBM, фиксирана хост DRAM, споделено хранилище и мрежата на центъра за данни в обща йерархия. Асинхронният DMA пренос запазва оригиналното разпределение на тензорите по TPU плочките. Предлагат се и Python пакети за PyTorch и JAX.

TPU Sync е предназначена за прехвърляне на KV състоянието при инференция, както и за разпространяване на тегла от обучаващи към семплиращи възли при обучение с подсилване. Библиотеката се интегрира с vLLM-TorchTPU, SGLang-TorchTPU, llm-d в GKE и JAX. Хранилището и преносът на тегла за обучение с подсилване са експериментални, а README файлът все още не препоръчва обща употреба.

При вътрешни тестове на Google от юли 2026 г. върху TPU v7x латентността при пренос на KV кеш за Qwen3 235B е спаднала от няколко секунди до около 230 милисекунди. Компанията отчита над 90% по-ниски разходи за пренос при модели MoE с 235B и 480B параметъра. Средното време до първия токен е намаляло съответно с 60% и 90% при ниска конкурентност. Google уточнява, че реалните резултати може да се различават.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини