Google представила два чипа для защищённого ИИ и крупных моделей
Google представила два новых варианта тензорных процессоров (TPU), расширив собственую линейку чипов для облачных нагрузок искусственного интеллекта. TPU 8tx и TPU 8i Max относятся к восьмому поколению TPU, представленному в апреле. Предыдущие чипы этого поколения были ориентированы на увеличение возможностей инференса и поддержку крупных задач обучения.
TPU 8tx создан совместно с AMD на базе TPU 8t. По словам Google, он предназначен для конфиденциального обучения и запуска ИИ-моделей: аппаратные средства защиты должны изолировать чувствительные данные и веса моделей даже во время работы. Специализированная сеть инференса позволяет одновременно выполнять рассуждения и обучение, а также на лету дистиллировать и обучать небольшие модели. Google считает, что это может быть полезно компаниям, работающим с собственными данными без их перемещения между устройствами.
TPU 8i Max объединяет в одном корпусе два чипа TPU 8i, предназначенных для инференса. Компания заявляет об удвоении объёма памяти, вычислительной мощности и пропускной способности, благодаря чему модели смогут обрабатывать больше информации в запросах. Выпуск состоялся на фоне разработки облачными провайдерами и ИИ-компаниями собственных чипов и программного обеспечения, призванных снизить зависимость от Nvidia.
Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.