Amazon завдає Nvidia найсерйознішого удару досі з новим інструментом для розробників TorchNeuron

У понеділок Amazon Web Services випустила інструмент під назвою TorchNeuron, який дає змогу AI-стартапам легко переносити свої AI-застосунки на AI-чип Amazon Trainium. Водночас Amazon завдає прямого удару по програмній перевазі, яка допомогла Nvidia стати апаратним вибором за замовчуванням для AI-застосунків і сприяла її становленню як провідного постачальника AI-обладнання.

TorchNeuron працює з PyTorch — безкоштовним інструментарієм із відкритим кодом, який розробники використовують для створення, навчання та запуску AI-моделей. За даними Amazon, він дає змогу AI-застосункам, написаним за допомогою PyTorch, працювати на Trainium, змінивши лише один рядок конфігурації, — переписувати код не потрібно.

Amazon заявляє, що близько 85% AI-застосунків написані за допомогою PyTorch. Спочатку його розробила Facebook, але з 2022 року він є частиною Linux Foundation, яка підтримує проєкти з відкритим кодом. Nvidia роками забезпечувала безперебійну підтримку AI-застосунків, написаних за допомогою PyTorch, у своєму програмному забезпеченні CUDA — програмній інфраструктурі, яка дає змогу застосункам працювати на GPU Nvidia та іншому її обладнанні. У результаті обладнання Nvidia тепер глибоко інтегроване в цей інструментарій, фактично ставши стандартом за замовчуванням.

TorchNeuron адаптований із PyTorch, тож розробники, які знають PyTorch, уже знають, як ним користуватися. Amazon не перша компанія, яка намагається спростити перенесення своїх чипів на цю платформу. Користувачі PyTorch також можуть перенести свої застосунки на GPU AMD або навіть чипи Apple, просто змінивши конфігурацію.

Однак Amazon стверджує, що перенесення на Trainium — це не лише просто, а й дає AI-стартапам доступ до всієї хмарної інфраструктури Amazon. Не дивно, що AWS заявляє: для стартапів це кращий вибір, ніж неохмарні провайдери, багато з яких прив’язані до Nvidia та її обладнання, як-от Coreweave, Nebius і Firmus.

«Ви будуєте свій продукт на AWS. Ви не робите ставку на постачальника обчислювальних ресурсів вузького профілю, а потім не намагаєтеся терміново побудувати навколо нього все інше», — сказав в електронному листі TechCrunch Колін Брейс, віцепрезидент із технологічного програмного забезпечення в AWS Annapurna Labs (підрозділі, який виробляє спеціалізовані чипи Amazon). «В AWS, — продовжив він, — інфраструктура для переходу від прототипу до промислового використання вже є, що дає засновнику змогу швидко рухатися вперед і масштабуватися за потреби».

AWS стверджує, що оскільки той самий чип використовується і для навчання (навчання AI-моделі), і для інференсу (застосування готової моделі, наприклад для відповіді на запитання користувача), а також тісно інтегрований із хмарною інфраструктурою, потрібною стартапам, її хмара заощадить їм кошти, навіть якщо AWS не пропонує найнижчу ціну за токен.

«Перевага Trainium — це співвідношення ціни та продуктивності, а також те, що це єдина платформа і для навчання, і для інференсу, що покращує економічні показники в межах усього робочого навантаження, — сказав Брейс. — Візьмімо Deepgram: вони перейшли на Trainium із використанням нативної підтримки PyTorch і тепер обробляють на 70% більше аудіо на кожен долар, зберігаючи точність виробничого рівня». Deepgram — постачальник AI-застосунків для роботи з голосом, конкурент ElevenLabs.

Але Amazon не задовольняється тим, щоб просто надати розробникам застосунків на PyTorch простий варіант переходу до її хмари.

Amazon також заявляє, що працює над тим, щоб PyTorch більше не був автоматично орієнтований на Nvidia, і передасть код для цього до основного проєкту PyTorch. У дописі в блозі, де було оголошено про новий інструмент, компанія написала:

«Підхід Amazon виходить за межі власного обладнання. Компанія передає зміни до основної гілки самого PyTorch, працюючи зі спільнотою PyTorch над видаленням коду, який прив’язує фреймворк до конкретних чипів. Мета — зробити PyTorch більш апаратно-нейтральним для всієї спільноти розробників, а не лише для користувачів Trainium».

Хоча така тактика, безумовно, вигідна тим, хто продає обладнання та хмарні сервіси, що конкурують із Nvidia, одна з цілей PyTorch — приховати всі ці набридливі складнощі, пов’язані із запуском AI-коду на обладнанні. Нам доведеться почекати й побачити, чи дасть таке витіснення Nvidia розробникам більше вибору та доступніші варіанти, як обіцяє Amazon, чи лише додасть проблем із конфігурацією.

У будь-якому разі, якщо Amazon успішно відокремить PyTorch від Nvidia, це може мати для GPU-гіганта набагато серйозніші наслідки, ніж просто необхідність мати справу з конкурентами на ринку чипів. Як сказав Брейс: «Справжня історія — у скасуванні прив’язаності, яка раніше взагалі не давала розробникам реального вибору».