Скритата сметка за съхранение на AI: какво оставя инференсът

Помолете повечето ръководители да си представят разходите за изкуствен интелект и вероятно ще видят графични процесори — стелажи с ускорители, консумиращи гигавати електроенергия — и списък с чакащи за силициеви чипове. Но тази картина пропуска нещо: разходите за съхранение на данни.

Какво се случва с данните, след като моделът отговори? Голяма част от генерираните бекенд данни — от милиарди ежедневни подкани, изображения и видеоклипове — трябва да бъдат съхранявани. Но съхранението на данни е един от по-трудните за планиране инфраструктурни разходи и често се пренебрегва при първоначалното планиране на инфраструктурата за изкуствен интелект.

С разрастването на инференса нараства и обемът на данните

Традиционно разговорите за инфраструктура за изкуствен интелект са съсредоточени върху процеса на обучение на модел, който изисква значителни изчислителни ресурси. Обучението е ограничено във времето: дадено изпълнение започва, изразходва изчислителни ресурси и приключва. Инферирането обаче се изпълнява непрекъснато — всеки път, когато моделът отговори на подкана. За инфраструктурното планиране тази разлика е важна: изпълнението на обучение е проект, за който можете да предвидите бюджет и който можете да приключите. Инферирането не приключва; всяка заявка за инфериране оставя нещо след себе си.

Да вземем за пример видеоклип, генериран от изкуствен интелект. При това работно натоварване разходите за бекенд могат да бъдат значителни. Въз основа на вътрешни измервания WD установи, че 8-секунден клип (предоставен на потребителя като 3,97 MB 720p файл) оставя над 500 MB свързани данни в бекенда, включително журнали, кеширан контекст, междинни рендерирания, резервни копия и записи за безопасност. Това е 130 пъти повече от размера на изходния файл, който потребителят е видял. При мащабиране до предприятие, което генерира по-дълги видеоклипове с по-висока резолюция, обемът на бекенд данните нараства до стотици гигабайти на клип.

А този обем бекенд данни нараства бързо. McKinsey прогнозира, че търсенето на инференс от изкуствен интелект ще нараства със сложен годишен темп на растеж от 35% до 2030 г. в сравнение с 22% за обучението, като до края на десетилетието ще представлява над 40% от общото търсене на центрове за данни.

Скорошен глобален бял документ на IDC, спонсориран от WD, в рамките на който са анкетирани 763 лица, вземащи решения в областта на ИТ и бизнеса, установи, че близо 95% от респондентите съобщават за увеличение на обема на данните вследствие на генеративния изкуствен интелект през последните 12 месеца, като приблизително 61% отчитат ръст от 25% или повече.

„Можете да гледате на по-големия капацитет за съхранение като на оптимизация, която поддържа графичните процесори заети“, каза старши продуктов мениджър на доставчик на хипермащабни облачни услуги, цитиран в доклада. „Най-голямото предизвикателство е да гарантираме, че графичните процесори не бездействат, докато чакат данните да се появят — часовете бездействие на графичен процесор стават много скъпи, много бързо.“ Казано в доларово изражение: ако разходите ви за съхранение нарастват с 25% на годишна база, докато бюджетът ви за изчислителни ресурси се увеличава по по-предвидим цикличен начин, разходите за съхранение в крайна сметка изпреварват бюджетния ред, който получава най-много внимание.

Съобразяване на съхранението с жизнения цикъл на данните за изкуствен интелект

Търсенето на изчислителни ресурси се увеличава и намалява в зависимост от циклите на обучение, продуктовите премиери и обновяването на хардуера. Но обемът на съхраняваните данни не намалява заедно с него, когато търсенето на изчислителни ресурси се забави. Журналите на моделите, синтетичните резултати, резултатите от инферирането и други данни продължават да се натрупват, а организациите съхраняват все повече от тях за по-дълго време.

Това променя ролята на съхраняваните данни. Информацията, която преди е била премествана в архив и рядко е била използвана, сега може да се превърне във вход за бъдещи работни натоварвания с изкуствен интелект. С увеличаването на обема на съхраняваните, извличаните и повторно използваните данни, съхранението трябва да поддържа не само нарастващ капацитет, но и все по-динамичен достъп до него. Същото проучване на WD и IDC установи, че 96% от респондентите очакват да се нуждаят от по-бързо извличане на архиви, за да поддържат инференс или генериране с разширено извличане (RAG).

Работните натоварвания с изкуствен интелект изискват както производителност, така и капацитет, като различните технологии обслужват различни потребности в рамките на жизнения цикъл на данните. А за огромните обеми данни, които трябва да бъдат съхранявани и преглеждани повторно, твърдите дискове осигуряват икономически ефективна основа с голям капацитет и значително предимство по отношение на разходите на терабайт  

Какво означава това за бюджетното планиране на изкуствения интелект

За финансов директор или директор по информационните технологии това означава, че „разходите за инфраструктура за изкуствен интелект“ може да са дефинирани твърде тясно и да се фокусират върху изчислителните ресурси. Модел, който бездейства, докато се зареждат данни, струва приблизително толкова, колкото модел, който бездейства поради липса на графичен процесор. Но тесните места при съхранението остават скрити, докато вече не се превърнат в проблем, и се проявяват в оперативните разходи и забавянията при извличане, а не като ред за капиталови разходи до ускорителите.

Да разгледаме търговец на дребно, който генерира видеоклипове за продуктите с изкуствен интелект за своя каталог, или застраховател, който обработва документи по искове чрез RAG процес за по-бързо поемане на риск. И в двата случая разходите за изчислителни ресурси са известна, предвидена в бюджета величина: ставка за всяко генериране или всяка заявка, която финансовият отдел може да прогнозира. Разходите за съхранение са различни: те се натрупват с всеки генериран видеоклип и всеки обработен иск, тъй като нито една част от тези бекенд данни не изчезва след приключването на задачата.

Екип, който планира бюджета за изкуствен интелект като „изчислителни ресурси плюс закръглена до пренебрежимо малка стойност сума за съхранение“, може да установи след 12 до 18 месеца, че тази малка сума се е превърнала в значителен дял от общите разходи по програмата — точно когато ръководството решава дали да я разшири.

Изграждане на икономически мащабируем капацитет

Преодоляването на това предизвикателство започва с архитектурата. Стратегията за съхранение обикновено е проектирана за скъпа производителност на горещия слой (за данни, до които се осъществява незабавен и постоянен достъп), докато по-голямата част от обема на данните за изкуствен интелект се натрупва в разположените зад него топли, хладни и студени слоеве.

Това, от което предприятията се нуждаят, е икономически мащабируем капацитет: инфраструктура, проектирана за целия жизнен цикъл на данните за изкуствен интелект, която балансира производителност, капацитет, потребление на енергия, надеждност и обща цена на притежание, докато данните се запазват, натрупват и все по-често се използват повторно. Това означава архивите, които преди са оставали недокоснати, да се третират като активи за RAG и инференс, както и да се определят политики за съхранение въз основа на нарастващата стратегическа стойност на данните, а не на първоначалната им цена за съхранение. Означава също да се признае, че решенията за съхранение се реализират в рамките на цял парк от устройства, а не на отделни дискове.

Такава инфраструктура изисква слоеве за съхранение, при които индивидуализираните потребление на енергия, надеждност, плътност и оперативна ефективност определят дали системата ще остане икономически устойчива с мащабирането на капацитета.

Ето три въпроса, които трябва да си зададете относно бюджета на вашата организация за инфраструктура за изкуствен интелект:

1. Каква е политиката ни за съхранение на съдържание, генерирано от изкуствен интелект, и кой я е определил?
2. Обвързано ли е снабдяването ни със системи за съхранение с нуждите от производителност по време на обучението или с действителния жизнен цикъл на данните, които произвеждаме?
3. Ако използването на изкуствен интелект се удвои през следващата година, разходите ни за съхранение ще се удвоят ли заедно с него или ще нараснат още повече?

Повечето организации не могат уверено да отговорят и на трите въпроса. Това е разликата, която си струва да бъде преодоляна преди следващия бюджетен цикъл, а не след това.

Това съдържание е създадено от WD. То не е написано от редакционния екип на MIT Technology Review.