Проектиране на устойчива инфраструктура за обслужване на AI

Следващото конкурентно предимство в корпоративния изкуствен интелект има по-малко общо с това кой модел избирате и повече с това какво изграждате около него.

Това е важна промяна. През последните няколко години голяма част от разговорите за изкуствения интелект бяха съсредоточени върху възможностите на моделите: по-големи модели, по-добро разсъждение, по-големи контекстни прозорци, по-високи резултати в бенчмаркове. Тези постижения са изключителни. Но с преминаването на изкуствения интелект от експериментиране към реална употреба въпросът пред корпоративните лидери се промени — той вече не е „Какво може да прави моделът?“, а „Можем ли да предоставяме тази интелигентност надеждно, икономично и в мащаб?“

Все по-често отговорът зависи от инфраструктурата за обслужване — инженерната система около модела, включително архитектурата, управлението на паметта, планирането и решенията за оптимизация, които определят колко ефективно интелигентността на модела се превръща във възможност за реална употреба.

За техническите ръководители това променя посоката на инвестициите в изкуствен интелект — и изискванията, които трябва да поставят към архитектурата, поддържаща тези системи.

Започнете с работното натоварване, а не с модела

Не съществува универсално „най-добър“ модел или архитектура за изкуствен интелект. Съществува само правилното решение за конкретния бизнес проблем.

Асистент, ориентиран към клиентите и оптимизиран за бързи отговори, има съвсем различни изисквания от конвейер за обработка на документи, който може да работи през нощта. Вътрешно приложение за управление на знания и платформа за обслужване на клиенти с голям обем може да използват един и същ базов модел, но да изискват напълно различни архитектури за обслужване.

Работното натоварване определя ограниченията. Ограниченията трябва да определят архитектурата.

Това звучи просто, но противоречи на начина, по който много организации са подхождали към първоначалното внедряване на изкуствен интелект. По време на доказването на концепцията точността на модела естествено доминира в дискусиите. При реалната употреба се появяват ограничения, които е много по-лесно да бъдат пренебрегнати, когато участват само шепа потребители: латентност, едновременност, натоварване на паметта, използване на графичния процесор, разходи за инфраструктура и непредвидим трафик.

Модел, който дава малко по-добри отговори, не е непременно по-добрият избор за реална употреба, ако удвоява разходите за извеждане или не може да покрие изискванията на приложението за латентност. Не всяко работно натоварване има нужда от Ferrari. Понякога по-разумното инженерно решение е моделът, който предоставя точно необходимата на бизнеса производителност, без да плащате за възможности, от които няма нужда.

Целта трябва да бъде внедряването на правилното ниво на интелигентност на правилната цена за конкретното работно натоварване. Това превръща архитектурата за обслужване в нещо повече от инженерна задача. Тя се превръща в инвестиционно решение: къде да се харчи за изчислителни ресурси, къде да се оптимизира и къде допълнителните възможности на модела просто не си заслужават разходите.

Проектирайте системата, а не модела

След като изкуственият интелект влезе в реална употреба, на пръв поглед изолирани инженерни решения започват да си влияят взаимно. Архитектурата за обслужване влияе върху използването на паметта. Управлението на паметта влияе върху едновременността. Едновременността определя пакетната обработка и планирането, а планирането влияе върху използването на графичния процесор и латентността.

Едва тогава техники като квантизация, спекулативно декодиране или оптимизирани механизми за внимание могат да дадат пълната си стойност. Тази взаимозависимост е важна, защото организациите могат да изразходват значително повече средства за инфраструктура, без да решат ограничението, което възпрепятства производителността.

Паметта на графичния процесор е добър пример. По време на извеждането теглата на модела остават непроменени, но кешът ключ-стойност (KV) нараства с активните заявки и дължината на контекста. С увеличаването на едновременността системата може да остане без използваема памет на графичния процесор, дори когато все още има наличен изчислителен капацитет. Добавянето на повече изчислителни ресурси, без да се разбере това ограничение, може просто да направи неефективната система по-скъпа.

Изводът за технологичните лидери е по-широк от управлението на паметта: Измервайте, преди да оптимизирате. Определете доминиращото ограничение. Отстранете го. Измерете резултата. След това установете дали се е появило друго тясно място. Повторете.

Не мислете за техниките за оптимизация като за карти Pokémon: целта не е да съберете всички. Целта е да приложите техниката, която премахва ограничението с най-голямо въздействие, като същевременно запазва бизнес изискванията на приложението.

За технологичните лидери това изисква различен управленски въпрос. Вместо да питате какви възможности на изкуствения интелект може да внедри организацията, попитайте кои ограничения стоят между доказаната възможност и устойчивата бизнес стойност.

Изграждайте за промяна, а не за днешния бенчмарк

Може би най-важната причина да инвестирате в инфраструктурата за обслужване е, че водещият модел днес вероятно няма да бъде водещият модел утре. Моделите ще се усъвършенстват. Хардуерът ще се развива. Ще се появяват нови техники за оптимизация. Архитектурата около тях трябва да улеснява усвояването на тези промени, а не да принуждава предприятието да изгражда отново своята платформа за изкуствен интелект всеки път, когато технологията се развива.

Това превръща адаптивността във все по-важен резултат от стратегията за изкуствения интелект.

Организациите, които изграждат системи за обслужване около изискванията на работното натоварване, ясните цели за нивото на услугата и измеримата икономика на реалната употреба, придобиват възможността да оценяват нови модели и инфраструктура спрямо действителните потребности на бизнеса. Смяната на модела може да се превърне в решение за оценка и конфигуриране, а не в цялостно преосмисляне на архитектурата.

Изследователи от EXL са проучили тези предизвикателства при реалната употреба по-задълбочено в поредицата EXL Engineering the Harness. Тя разглежда как архитектурата за обслужване, управлението на паметта, планирането и оптимизацията на извеждането работят заедно, за да направят корпоративния изкуствен интелект по-ефективен, мащабируем и икономически устойчив.

Все по-често предприятията имат достъп до много от едни и същи модели. Устойчивата диференциация идва от това колко ефективно организацията превръща тази интелигентност в бизнес резултати.

Моделът предоставя интелигентността. Инфраструктурата определя дали предприятието може да предоставя резултати надеждно, икономично и в мащаб.

Това съдържание е създадено от EXL. То не е написано от редакционния екип на MIT Technology Review.