Прихований рахунок AI за зберігання даних: що залишає по собі інференс

Попросіть більшість керівників уявити вартість ШІ — і вони, найімовірніше, побачать графічні процесори: стійки з прискорювачами, що споживають гігавати електроенергії, а також чергу на напівпровідники. Але ця картина дещо упускає: витрати на зберігання даних.

Що відбувається з даними після того, як модель надає відповідь? Значну частину даних, що генеруються на серверній частині — зокрема мільярди щоденних запитів, зображень і відео, — потрібно зберігати. Але зберігання даних — одна з найскладніших для планування інфраструктурних витрат, і на етапі початкового планування інфраструктури ШІ про нього часто забувають.

У міру масштабування інференсу разом із ним зростає і обсяг даних

Традиційно розмови про інфраструктуру ШІ зосереджувалися на обчислювально інтенсивному процесі навчання моделі. Навчання має кінцевий характер: запуск починається, використовує обчислювальні ресурси й завершується. Але інференс виконується безперервно — щоразу, коли модель відповідає на запит. Для планування інфраструктури ця різниця має значення: запуск навчання — це проєкт, для якого можна передбачити бюджет і який можна завершити. Інференс не завершується; кожен запит на інференс залишає після себе певні дані.

Розглянемо генерацію відео за допомогою ШІ. У цьому робочому навантаженні витрати на серверну частину можуть бути значними. На основі внутрішніх вимірювань WD виявила, що 8-секундний кліп (який повертається користувачеві як файл 720p розміром 3,97 МБ) залишає на серверній частині понад 500 МБ пов’язаних даних, зокрема журнали, кешований контекст, проміжні візуалізації, резервні копії та записи про безпеку. Це у 130 разів більше за розмір вихідного файлу, який бачив користувач. Якщо масштабувати це на підприємство, що генерує довші відео з вищою роздільною здатністю, обсяг даних на серверній частині зростає до сотень гігабайтів на один кліп.

І цей обсяг даних на серверній частині швидко зростає. McKinsey прогнозує, що попит на інференс ШІ зростатиме на 35% у середньорічному вираженні до 2030 року, порівняно з 22% для навчання, і до кінця десятиліття становитиме понад 40% загального попиту на центри обробки даних.

У нещодавньому глобальному технічному звіті IDC, підготовленому за підтримки WD, у якому було опитано 763 керівників, що ухвалюють рішення у сфері ІТ та бізнесу, майже 95% респондентів повідомили про збільшення обсягу даних через генеративний ШІ за останні 12 місяців, причому близько 61% заявили про зростання на 25% або більше.

«Збільшення обсягу сховища можна розглядати як спосіб оптимізувати завантаженість графічних процесорів», — сказав старший менеджер із продуктів постачальника гіпермасштабованих хмарних сервісів, якого цитують у звіті. «Найбільша проблема — гарантувати, що графічні процесори не простоюють, очікуючи на дані, — години простою графічного процесора дуже швидко стають надзвичайно дорогими». У грошовому вираженні це означає: якщо витрати на зберігання зростають на 25% щороку, тоді як бюджет на обчислення збільшується більш передбачувано, циклічно, витрати на зберігання зрештою випередять бюджетну статтю, яка отримує найбільше уваги.

Відповідність сховища життєвому циклу даних ШІ

Попит на обчислювальні ресурси зростає і знижується разом із циклами навчання, запуском продуктів та оновленням обладнання. Але обсяг даних, що зберігаються, не зменшується разом із ним, коли попит на обчислення сповільнюється. Журнали моделей, синтетичні результати, результати інференсу та інші дані продовжують накопичуватися, і організації зберігають дедалі більше з них протягом довшого часу.

Це змінює роль даних, що зберігаються. Інформація, яка раніше переміщувалася до архіву й рідко використовувалася, тепер може стати вхідними даними для майбутніх робочих навантажень ШІ. У міру того як дедалі більше даних зберігається, вилучається та використовується повторно, сховище має підтримувати не лише зростання обсягу, а й дедалі динамічніший доступ до нього. Те саме опитування WD-IDC показало, що 96% респондентів очікують потреби у швидшому вилученні даних з архівів для підтримки інференсу або генерації з доповненням пошуком (RAG).

Робочі навантаження ШІ потребують і продуктивності, і ємності, а різні технології відповідають різним потребам на різних етапах життєвого циклу даних. А для величезних обсягів даних, які потрібно зберігати й повторно використовувати, жорсткі диски забезпечують економічно ефективну основу великої ємності, маючи суттєву перевагу за вартістю одного терабайта  

Що це означає для формування бюджету на ШІ

Для фінансового або ІТ-директора це означає, що поняття «витрати на інфраструктуру ШІ» може бути надто вузько зосереджене на обчисленнях. Модель, яка простоює під час завантаження даних, коштує приблизно стільки ж, скільки й модель, що простоює через відсутність графічного процесора. Але вузьке місце у сховищі залишається непомітним, доки вже не стає проблемою, проявляючись в операційних витратах і затримках під час вилучення даних, а не в окремому капітальному бюджетному рядку поруч із прискорювачами.

Розглянемо роздрібного продавця, який генерує відео про товари за допомогою ШІ для свого каталогу, або страхову компанію, яка пропускає документи щодо страхових випадків через конвеєр RAG для швидшого андеррайтингу. В обох випадках вартість обчислень є відомою, запланованою величиною: ставкою за одну генерацію або запит, яку фінансовий відділ може спрогнозувати. Вартість зберігання відрізняється: вона накопичується з кожним згенерованим відео та кожним опрацьованим страховим випадком, оскільки жодні дані на серверній частині не зникають після завершення завдання.

Команда, яка планує бюджет на ШІ за принципом «обчислення плюс похибка округлення на зберігання», через 12–18 місяців може виявити, що ця похибка округлення перетворилася на значну частку загальної вартості програми — саме тоді, коли керівництво вирішує, чи розширювати її.

Створення економічно масштабованої ємності

Подолання цієї проблеми починається з архітектури. Стратегію зберігання зазвичай розробляють для дорогої продуктивності гарячого рівня (для даних, до яких здійснюється миттєвий і постійний доступ), тоді як більшість даних ШІ за обсягом накопичується в розташованих за ним теплих, прохолодних і холодних рівнях.

Підприємствам потрібна економічно масштабована ємність: інфраструктура, розроблена для всього життєвого циклу даних ШІ та здатна збалансувати продуктивність, ємність, енергоспоживання, надійність і загальну вартість володіння в міру того, як дані зберігаються, накопичуються та дедалі частіше використовуються повторно. Це означає розглядати архіви, які раніше залишалися без використання, як активи для RAG та інференсу, а також встановлювати політики зберігання з урахуванням зростаючої стратегічної цінності даних, а не їхньої початкової вартості зберігання. Це також означає усвідомлення того, що рішення щодо сховища реалізуються на рівні парків обладнання, а не окремих дисків.

Така інфраструктура потребує рівнів зберігання, де індивідуальні показники енергоспоживання, надійності, щільності та операційної ефективності визначають, чи залишатиметься система економічно стійкою в міру масштабування ємності.

Щодо бюджету вашої організації на інфраструктуру ШІ варто поставити три запитання:

1. Яка наша політика зберігання контенту, згенерованого ШІ, і хто її встановив?
2. Чи пов’язане наше придбання сховищ із потребами у продуктивності під час навчання, чи з фактичним життєвим циклом даних, які ми створюємо?
3. Якщо наступного року використання ШІ подвоїться, чи подвояться разом із ним витрати на зберігання — або зростуть ще більше?

Більшість організацій не можуть упевнено відповісти на всі три запитання. Саме цю прогалину варто усунути до наступного бюджетного циклу, а не після нього.

Цей матеріал підготовлено компанією WD. Його написали не редактори MIT Technology Review.