Google разширява серията TPU 8 с два специализирани варианта
Google представи две нови системи от осмото поколение AI ускорители: TPU 8tx за поверителни изчисления и TPU 8i Max за задачи, изискващи повече памет. И двата варианта използват съществуващи процесори, а промените са в опаковката, мрежовата свързаност и конфигурацията на паметта. Компанията посочва, че този модулен подход позволява нови конфигурации да бъдат разработвани за месеци, а не за години.
TPU 8tx е насочен към предприятия и държавни организации, които обработват чувствителни данни. Според Google данните и теглата на моделите остават криптирани и изолирани и по време на обработката. Системата използва мрежата Boardfly и според компанията може да осигури до два пъти по-голямо намаляване на латентността спрямо TPU 8t. Тя е предназначена за фино настройване, дестилация на модели и обучение на AI агенти с подсилващо обучение.
TPU 8i Max поставя два чипа TPU 8i в един корпус, като удвоява изчислителната мощ, паметта и пропускателната способност на паметта в същия формат за рак. Google казва, че вече е доставила четири TPU системи за една година. Отвореният TorchTPU и поддръжката на vLLM и SGLang трябва да улеснят използването им. Компанията посочва близо 100 външни клиенти на своите TPU, докато разширява присъствието си на пазара за инференция.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.