Google додала до лінійки TPU 8 два спеціалізовані варіанти
Google представила дві нові системи у восьмому поколінні прискорювачів штучного інтелекту: TPU 8tx для конфіденційних обчислень і TPU 8i Max для завдань із високими вимогами до пам’яті. Обидві конфігурації створені на основі вже наявних процесорів. Зміни стосуються компонування, мережевої взаємодії та пам’яті. Компанія заявляє, що такий модульний підхід дає змогу випускати нові варіанти за місяці, а не за роки.
TPU 8tx орієнтований на підприємства та державні установи, які працюють із чутливими даними. За даними Google, дані й ваги моделей залишаються зашифрованими та ізольованими навіть під час обробки. Система використовує мережу Boardfly; Google стверджує, що вона забезпечує до дворазового зменшення затримки порівняно з TPU 8t. Її можна застосовувати для донавчання моделей, дистиляції великих моделей і навчання AI-агентів із підкріпленням.
TPU 8i Max поєднує два чипи TPU 8i в одному корпусі. У тому самому стоєчному форматі це подвоює обчислювальну потужність, обсяг пам’яті та пропускну здатність пам’яті. Google повідомляє, що за рік поставила чотири системи TPU. Відкритий TorchTPU та підтримка vLLM і SGLang мають спростити використання розробниками. За словами компанії, її TPU вже мають майже 100 зовнішніх клієнтів, оскільки Google розширює пропозицію для ринку інференсу.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.