Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

Google выпустила TPU Sync для передачи KV-кэшей

Google Cloud выпустила TPU Sync — библиотеку на C++ с открытым исходным кодом под лицензией Apache-2.0. Она передаёт KV-кэши и веса моделей между HBM памяти TPU, закреплённой оперативной памятью хоста, общим хранилищем и сетью дата-центра, рассматривая их как единую иерархию. Асинхронный DMA сохраняет исходную раскладку тензоров по плиткам TPU. Для PyTorch и JAX доступны Python-пакеты.

Библиотека рассчитана на перенос состояния KV-кэша во время инференса и на рассылку весов от обучающих узлов к узлам-сэмплерам в задачах обучения с подкреплением. Она интегрируется с vLLM-TorchTPU, SGLang-TorchTPU, llm-d в GKE и JAX. Компоненты для работы с хранилищем и передачи весов в обучении с подкреплением пока экспериментальны; README не рекомендует библиотеку для общего применения.

Во внутренних тестах Google в июле 2026 года на TPU v7x перенос KV-кэша для Qwen3 235B занял около 230 миллисекунд вместо нескольких секунд. Для MoE-моделей на 235B и 480B параметров компания сообщила о снижении задержки передачи более чем на 90%. При низкой конкуренции среднее время до первого токена уменьшилось на 60% и 90% соответственно. Для сценариев с кэшированием префиксов снижение достигало 90%. Google предупреждает, что результаты в реальных системах могут отличаться.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости