Amazon наносит Nvidia самый серьёзный удар за всю историю с новым инструментом для разработчиков TorchNeuron

В понедельник Amazon Web Services выпустила инструмент под названием TorchNeuron, который позволяет ИИ-стартапам легко переносить свои ИИ-приложения на ИИ-чип Amazon Trainium. Тем самым Amazon также наносит прямой удар по преимуществу Nvidia в области программного обеспечения, которое помогло компании сделать свои аппаратные решения стандартным выбором для ИИ-приложений и способствовало ее превращению в ведущего поставщика ИИ-оборудования.

TorchNeuron работает с PyTorch — бесплатным набором инструментов с открытым исходным кодом, который разработчики используют для создания, обучения и запуска ИИ-моделей. По данным Amazon, он позволяет запускать ИИ-приложения, написанные с использованием PyTorch, на Trainium, изменив всего одну строку конфигурации — переписывать код не требуется.

Amazon утверждает, что около 85% ИИ-приложений написаны на PyTorch. Изначально его разработала Facebook, но с 2022 года он входит в состав Linux Foundation, которая занимается поддержкой проектов с открытым исходным кодом. Nvidia годами обеспечивала поддержку своих программных решений CUDA — программной инфраструктуры, позволяющей приложениям работать на графических процессорах Nvidia и другом ее оборудовании, — для ИИ-приложений, написанных с использованием PyTorch. В результате оборудование Nvidia теперь глубоко интегрировано в этот набор инструментов, фактически став выбором по умолчанию.

TorchNeuron адаптирован из PyTorch, поэтому разработчики, знакомые с PyTorch, уже знают, как им пользоваться. Amazon не первая компания, которая пытается упростить перенос своих чипов на эту платформу. Пользователи PyTorch также могут перенести свои приложения на графические процессоры AMD или даже чипы Apple, просто изменив конфигурацию.

Однако Amazon утверждает, что перенос на Trainium — это не только просто, но и дает ИИ-стартапам доступ ко всему облаку Amazon. Неудивительно, что AWS заявляет: для стартапов это лучший выбор, чем использование неооблаков, многие из которых связаны с Nvidia и ее оборудованием, например Coreweave, Nebius и Firmus.

«Вы создаете проект на AWS. Вы не делаете ставку на поставщика вычислительных ресурсов узкого профиля, а затем в спешке не выстраиваете вокруг него все остальное», — сказал TechCrunch по электронной почте Колин Брейс, вице-президент по технологическому программному обеспечению в AWS Annapurna Labs (подразделении, создающем специализированные чипы Amazon). «В AWS, — продолжил он, — инфраструктура для перехода от прототипа к рабочему продукту уже существует, что позволяет основателю быстро двигаться вперед и масштабироваться при необходимости».

AWS утверждает, что, поскольку один и тот же чип обрабатывает как обучение (обучение ИИ-модели), так и инференс (использование готовой модели, например для ответа на вопрос пользователя), а также тесно интегрирован с облачной инфраструктурой, необходимой стартапам, ее облако позволит им сэкономить деньги, даже если AWS не предлагает самую низкую цену за токен.

«Ценность Trainium — в соотношении цены и производительности, а также в том, что это единая платформа и для обучения, и для инференса, что повышает экономическую эффективность всей рабочей нагрузки», — сказал Брейс. «Возьмем Deepgram — они перешли на Trainium с использованием нативной поддержки PyTorch и теперь обрабатывают на 70% больше аудио на каждый доллар при точности, соответствующей требованиям промышленной эксплуатации». Deepgram — поставщик ИИ-приложений для работы с голосом, конкурент ElevenLabs.

Но Amazon не намерена ограничиваться тем, чтобы просто предоставить разработчикам приложений на PyTorch простой способ перейти в ее облако.

Amazon также заявляет, что добивается того, чтобы PyTorch перестал автоматически ориентироваться на Nvidia, и внесет соответствующий код в основной проект PyTorch. В записи в блоге, посвященной анонсу нового инструмента, компания написала:

«Подход Amazon выходит за рамки собственного оборудования. Компания вносит изменения непосредственно в PyTorch, работая с сообществом PyTorch над удалением кода, который связывает фреймворк с конкретными чипами. Цель заключается в том, чтобы сделать PyTorch более независимым от оборудования для всего сообщества разработчиков, а не только для пользователей Trainium».

Хотя такая тактика, несомненно, выгодна тем, кто продает оборудование и облачные сервисы, конкурирующие с Nvidia, одна из целей PyTorch — скрывать все досадные сложности, связанные с запуском ИИ-кода на аппаратном обеспечении. Нам придется подождать и посмотреть, принесет ли вытеснение Nvidia больше выбора и более доступные варианты для разработчиков, как обещает Amazon, или же лишь добавит проблем с настройкой.

В любом случае, если Amazon удастся глубоко отделить PyTorch от Nvidia, последствия для гиганта рынка графических процессоров могут оказаться гораздо серьезнее, чем просто необходимость справляться с конкурентами в сфере чипов. Как сказал Брейс: «Главное — устранить привязку, из-за которой разработчики вообще не имели реального выбора».