Перестаньте рахувати токени — рахуйте те, що випускається

Коли розробник ставить ШІ-агенту завдання з програмування, агент робить більше, ніж просто відповідає один раз. Він планує, генерує код, запускає тести й повторює процес, щоб виправити помилки. Одне завдання може потребувати у 10–50 разів більше токенів, ніж звичайний чат-запит. Що кориснішим стає агент, то більше викликів він здійснює. За тарифікації за токен робочі процеси, які створюють найбільшу цінність, можуть також виявитися найдорожчими.

Фінансовий тиск уже помітний. Як повідомляється, Uber вичерпала весь бюджет на ШІ на 2026 рік уже до квітня після розширення використання Claude Code. GitHub Copilot перейшов від фіксованої тарифікації до кредитів із оплатою за використання. Gartner прогнозує, що до 2028 року витрати на токени для програмування за допомогою ШІ перевищать середню зарплату розробника.

Природною відповіддю є обмеження використання, ліміти на кількість місць і погодження перед запуском агентів розробниками. Але загальні обмеження можуть стримувати робочі процеси, які створюють цінність. Вони також оптимізують не той показник. Вартість токена вимірює споживання, а не результати. Частина витрат пов’язана з марнуванням ресурсів, зокрема повторними спробами та нескінченними циклами. Інша частина — з роботою над випуском програмного забезпечення. Лічильник не може їх розрізнити, як і ліміт витрат.

Вимірюйте програмне забезпечення, яке випускається

Кращим показником є вартість одного об’єднаного pull request: загальні витрати на розробку за допомогою ШІ, поділені на кількість змін, які пройшли перевірку та були об’єднані. Водночас відстежуйте доопрацювання й дефекти, щоб дешевші зміни не приховували нижчу якість.

Якщо ця вартість знижується зі зростанням використання ШІ без погіршення якості, розробники перетворюють більший обсяг споживання на корисне програмне забезпечення. Питання не в тому, скільки токенів вони використовують, а в тому, скільки готової роботи створює інвестиція.

Для покращення цього співвідношення потрібні дві зміни: резервувати дорогий інференс для завдань, які його потребують, і знижувати вартість рутинної роботи.

Добирайте модель відповідно до завдання

Агентне програмування не потребує найпотужнішої моделі на кожному етапі. Використовуйте передову модель або флагманську модель локального розгортання, якщо цього вимагає політика, для складного планування та нового міркування. Відповідну роботу, зокрема генерацію коду, створення тестів і повторний рефакторинг, спрямовуйте до моделей із відкритими вагами, якими ви керуєте самостійно.

Шлюз може спрямовувати запити відповідно до складності завдання, чутливості даних, вартості та затримки. Це дає змогу резервувати преміальний інференс для моментів, які його виправдовують, замість застосування преміальної ціни до всього робочого процесу. Тарифікуйте винятки, а не робоче навантаження.

Моделі з відкритими вагами роблять такий розподіл дедалі практичнішим. Бенчмарки з програмної інженерії показують, що провідні моделі з відкритими вагами можуть наближатися до результатів передових моделей у деяких завданнях. Це не доводить їхньої еквівалентності для кожного репозиторію чи робочого процесу. Перш ніж доручати їм виробничу роботу, оцініть кандидатів на власному коді, тестах і критеріях приймання.

Змініть економіку повторного використання

Далі визначте, кому належить обчислювальна потужність. За орендованого інференсу кожен виклик збільшує рахунок. За власної потужності більшість витрат фіксується наперед, тому кожен наступний виклик стає дешевшим зі зростанням використання.

Економіка проста: тарифікація за токен робить інтенсивне використання дорожчим, тоді як власна потужність стає ефективнішою в міру її активнішого використання командами. Власна потужність, однак, не є безкоштовною. Необхідно враховувати електроенергію, експлуатацію, обслуговування та амортизацію. Важливим є показник повної вартості одного об’єднаного pull request.

Власна потужність також забезпечує цінність, яка ніколи не з’являється в рахунку: контроль над чутливим кодом. Коли генерація коду й тестування виконуються локально, власницький код залишається всередині підприємства. Лише схвалені запити для планування та регульовані винятки надходять до зовнішніх моделей через шлюз, який контролює організація. Це відкриває доступ до чутливих репозиторіїв, де безпека зазвичай гальмує впровадження і де очікуються найбільші здобутки.

Перевірте операційну модель

У HPE гібридна платформа ШІ спрямовує рутинні робочі навантаження з понад 150 внутрішніх застосунків до моделей із відкритими вагами, що працюють локально, зокрема на HPE Private Cloud AI. Результат: зниження витрат на токени на 30–50%.

У цьому й полягає перевага гібридної моделі. Завдяки HPE Private Cloud AI власний інференс не означає відмову від передових моделей. Виконуйте основний обсяг роботи на потужності, якою ви володієте, а найскладніші завдання доручайте шлюзу.

Дані також показують, що витрати визначає використання, а не кількість ліцензованих працівників. На 5% найактивніших користувачів припадала більшість споживання, а найактивніші використовували приблизно у 450 разів більше, ніж найменш активні, за тієї самої ліцензії. Якщо кількість активних користувачів зросте з невеликої меншості до половини працівників, щомісячні витрати можуть зрости приблизно у 4,4 раза за незмінної чисельності персоналу. Ваше співвідношення буде іншим — саме тому його потрібно вимірювати.

HPE відстежує два показники й рекомендує клієнтам робити те саме. По-перше, компанія відстежує вартість на активного розробника, оскільки усереднення за всіма ліцензіями приховує найактивніших користувачів, які формують витрати. По-друге, вона відстежує вартість одного об’єднаного pull request, оскільки це пов’язує витрати на ШІ з програмним забезпеченням, яке випускається.

Зафіксуйте базові значення обох показників, перш ніж змінювати інфраструктуру. Потім проведіть повний цикл розробки на власній потужності. Якщо обидва показники не покращуються зі зростанням використання, ваша поточна модель може залишатися кращим вибором.

Створюйте умови для впровадження, а не нормування

Власна потужність підходить не всім. Низьке або непередбачуване використання сприяє роботі через API, адже капітал не заморожується в інфраструктурі, що простоює. Власна потужність окупається, коли стабільний попит забезпечує її завантаження. Більшість підприємств працюватиме за гібридною моделлю: передові API для складної або періодичної роботи, власна потужність — для повторюваних обсягів. Керований шлюз визначає, що залишає межі компанії, тож ви отримуєте передові моделі, не відмовляючись від суверенітету над своїм кодом.

У міру того як розробники дедалі активніше покладатимуться на агентів для програмування, використання продовжуватиме зростати. Справжній вибір полягає в тому, чи відобразиться це зростання у вигляді більшого рахунку зі змінними витратами, чи у вигляді більшої кількості випущеного програмного забезпечення на потужності, якою ви володієте. Компанії, що очолять розвиток програмування за допомогою ШІ, не нормуватимуть впровадження, щоб контролювати витрати. Вони створять операційну модель, у якій ширше використання ШІ покращує економіку, а не підриває її.

Щоб дізнатися більше про HPE Private Cloud AI, відвідайте HPE.

Цей матеріал підготовлено HPE. Його написали не редактори MIT Technology Review.