Спрете да броите токените, започнете да броите доставеното

Когато разработчик възложи на AI агент задача за програмиране, агентът прави повече от еднократен отговор. Той планира, генерира код, изпълнява тестове и повтаря процеса, за да коригира грешките. Една задача може да използва от 10 до 50 пъти повече токени от обикновена чат заявка. Колкото по-полезен става агентът, толкова повече заявки отправя. При ценообразуване на база токени работните процеси, които създават най-много стойност, могат да се окажат и най-скъпи.

Финансовият натиск вече е видим. Според съобщения Uber е изчерпал целия си бюджет за AI за 2026 г. още през април, след като е разширил използването на Claude Code. GitHub Copilot премина от фиксирано ценообразуване към кредити според потреблението. Gartner прогнозира, че разходите за токени при AI програмирането ще надхвърлят средните възнаграждения на разработчиците до 2028 г.

Естествената реакция е да се ограничат потреблението, броят на местата и одобренията, преди разработчиците да стартират агентите. Но общите ограничения могат да възпрепятстват работните процеси, които създават стойност. Те оптимизират и грешния показател. Разходите на токен измерват потреблението, а не резултатите. Част от разходите отразява загуби, включително повторни опити и безкрайни цикли. Друга част представлява работата по внедряването на софтуер. Един измервателен уред не може да ги разграничи, както не може и ограничението на разходите.

Измервайте софтуера, който достига до потребителите

По-добър показател е разходът за обединена заявка за промяна: общите разходи за разработка с помощта на AI, разделени на броя промени, които преминават преглед и се обединяват. Проследявайте заедно с него и повторната работа и дефектите, за да не прикриват по-евтините промени по-ниското качество.

Ако този разход намалява с увеличаването на използването на AI, без това да влошава качеството, разработчиците превръщат по-голяма част от потреблението в полезен софтуер. Въпросът не е колко токени използват, а колко завършена работа произвежда инвестицията.

Подобряването на това уравнение изисква две промени: запазете скъпото инфериране за задачите, които се нуждаят от него, и намалете разходите за рутинната работа.

Съобразявайте модела със задачата

Агентното програмиране не изисква най-мощния модел на всяка стъпка. Използвайте водещ модел или локално разположен водещ модел, когато политиката го изисква, за трудно планиране и новаторско разсъждение. Насочвайте подходящата работа, включително генериране на код, създаване на тестове и повтарящо се рефакториране, към модели с отворени тегла, които управлявате сами.

Шлюзът може да насочва заявките според сложността на задачата, чувствителността на данните, разходите и латентността. Така скъпото инфериране се запазва за моментите, които го оправдават, вместо цял работен процес да бъде таксуван по премиум тарифи. Измервайте изключенията, а не работното натоварване.

Моделите с отворени тегла правят това разделение все по-практично. Бенчмарковете за софтуерно инженерство показват, че водещите модели с отворени тегла могат да се доближат до представянето на водещите модели при някои задачи. Това не доказва еквивалентност във всяко хранилище или работен процес. Оценявайте кандидатите спрямо собствения си код, тестове и критерии за приемане, преди да им възложите производствена работа.

Променете икономиката на повтарящото се използване

След това решете кой притежава капацитета. При наето инфериране всяка заявка увеличава сметката. При собствен капацитет по-голямата част от разходите е поета предварително, така че всяка следваща заявка поевтинява с нарастването на използването.

Икономиката е проста: ценообразуването на база токени прави интензивното използване по-скъпо, докато собственият капацитет става по-ефективен с увеличаването на използването му от екипите. Притежаването му обаче не е безплатно. Трябва да се вземат предвид електроенергията, експлоатацията, поддръжката и амортизацията. Важният показател е напълно натовареният разход за една обединена заявка за промяна.

Собственият капацитет носи и вид стойност, която никога не се появява във фактурата: контрол върху чувствителния код. Когато генерирането и тестването на код се извършват локално, собственическият код остава в предприятието. Само одобрени подсказки за планиране и регулирани изключения се изпращат към външни модели чрез шлюз, контролиран от организацията. Това отваря чувствителните хранилища, при които сигурността обикновено забавя внедряването и където се очакват най-големите ползи.

Тествайте оперативния модел

В HPE хибридна AI платформа насочва рутинните работни натоварвания от над 150 вътрешни приложения към модели с отворени тегла, работещи локално, включително в HPE Private Cloud AI. Резултатът: разходите за токени са с 30 до 50% по-ниски.

Това е смисълът на хибридния подход. С HPE Private Cloud AI притежаването на собствено инфериране не означава да се откажете от водещите модели. Изпълнявайте обемната работа на собствен капацитет и оставете шлюза да насочва най-трудните задачи.

Данните показват също, че потреблението, а не броят на лицензираните служители, определя разходите. Най-активните 5% от потребителите са генерирали по-голямата част от потреблението, а най-интензивно използващите са потребили приблизително 450 пъти повече от най-слабо активните при един и същ лиценз. Ако активните потребители нараснат от малцинство до половината от работната сила, месечните разходи могат да се увеличат около 4,4 пъти при непроменен брой служители. Вашата структура ще бъде различна, което е именно причината да я измервате.

HPE проследява два показателя и препоръчва на клиентите да правят същото. Първо, проследява разхода на активен разработчик, защото усредняването на всички лицензи прикрива активните потребители, които определят разходите. Второ, проследява разхода за обединена заявка за промяна, защото свързва разходите за AI със софтуера, който достига до потребителите.

Определете базовите стойности и на двата разхода, преди да промените инфраструктурата. След това изпълнете пълен цикъл на разработка върху собствен капацитет. Ако нито един от двата показателя не се подобри с увеличаването на потреблението, настоящият ви модел все пак може да е по-добрият избор.

Изграждайте за внедряване, а не за ограничаване

Собственият капацитет не е подходящ за всички. Ниското или непредвидимо потребление е в полза на API услугите, тъй като при тях няма капитал, блокиран в неизползвана инфраструктура. Притежаването на собствен капацитет се изплаща, когато устойчивото търсене го поддържа натоварен. Повечето предприятия ще използват хибриден модел: водещи API услуги за взискателна или непостоянна работа и собствен капацитет за повтаряеми обеми. Управляван шлюз решава какво напуска организацията, така че получавате водещи модели, без да се отказвате от суверенитета над кода си.

С нарастването на зависимостта на разработчиците от агентите за програмиране потреблението ще продължи да се увеличава. Истинският избор е дали този растеж ще се прояви като по-голяма сметка с променливи разходи или като повече доставен софтуер, работещ на собствен капацитет. Компаниите, които ще поведат разработката с помощта на AI, няма да ограничават внедряването, за да контролират разходите. Те ще изградят оперативен модел, при който по-голямото използване на AI подобрява икономиката, вместо да я подкопава.

За да научите повече за HPE Private Cloud AI, посетете HPE.

Това съдържание е създадено от HPE. То не е написано от редакционния екип на MIT Technology Review.