Хватит считать токены — считайте то, что выпускается

Когда разработчик ставит перед ИИ-агентом задачу по программированию, агент не просто отвечает один раз. Он планирует, генерирует код, запускает тесты и повторяет процесс, чтобы исправить ошибки. Одна задача может использовать в 10–50 раз больше токенов, чем обычный запрос в чате. Чем полезнее становится агент, тем больше вызовов он совершает. При поминутной оплате за токены рабочие процессы, создающие наибольшую ценность, могут также становиться самыми дорогими.

Финансовое давление уже заметно. По сообщениям, Uber исчерпала весь свой бюджет на ИИ на 2026 год уже в апреле после расширения использования Claude Code. GitHub Copilot перешёл от фиксированной оплаты к кредитам с оплатой за фактическое использование. Gartner прогнозирует, что к 2028 году расходы на токены для разработки с помощью ИИ превысят среднюю зарплату разработчика.

Естественная реакция — ввести ограничения на использование, лимиты на количество мест и согласования до запуска разработчиками агентов. Но универсальные ограничения могут сдерживать рабочие процессы, создающие ценность. Кроме того, они оптимизируют не тот показатель. Стоимость токена измеряет потребление, а не результаты. Некоторые расходы отражают потери, включая повторные попытки и бесконечные циклы. Другие связаны с выпуском программного обеспечения. Счётчик не может различить эти расходы, как не может и лимит затрат.

Измеряйте выпущенное программное обеспечение

Более подходящий показатель — стоимость одного объединённого запроса на включение изменений: общая стоимость разработки с помощью ИИ, делённая на количество изменений, прошедших проверку и включённых в кодовую базу. Одновременно отслеживайте доработки и дефекты, чтобы более дешёвые изменения не скрывали снижения качества.

Если эта стоимость снижается по мере роста использования ИИ без ущерба для качества, разработчики превращают большее потребление в полезное программное обеспечение. Вопрос не в том, сколько токенов они используют, а в том, сколько завершённой работы создаёт это вложение.

Для улучшения этого соотношения необходимы два изменения: резервировать дорогостоящие вычисления для задач, которым они действительно нужны, и снижать стоимость рутинной работы.

Подбирайте модель под задачу

Агентная разработка не требует использования самой мощной модели на каждом этапе. Для сложного планирования и нестандартных рассуждений используйте передовую модель или флагманскую модель в локальной инфраструктуре, если этого требуют правила. Подходящие задачи, включая генерацию кода, создание тестов и повторный рефакторинг, направляйте моделям с открытыми весами, которыми вы управляете самостоятельно.

Шлюз может направлять запросы с учётом сложности задачи, чувствительности данных, стоимости и задержки. Это позволяет резервировать дорогостоящие вычисления для моментов, которые этого заслуживают, вместо применения премиальной цены ко всему рабочему процессу. Учитывайте исключения, а не всю рабочую нагрузку.

Модели с открытыми весами делают такое разделение всё более практичным. Бенчмарки в области разработки программного обеспечения показывают, что ведущие модели с открытыми весами могут приближаться к показателям передовых моделей в некоторых задачах. Однако это не доказывает их равноценность для каждого репозитория или рабочего процесса. Оценивайте кандидатов на собственном коде, тестах и критериях приёмки, прежде чем поручать им производственные задачи.

Измените экономику повторного использования

Затем определите, кому принадлежит вычислительная мощность. При аренде вычислений каждый вызов увеличивает счёт. При наличии собственной мощности большая часть затрат фиксируется заранее, поэтому каждый дополнительный вызов становится дешевле по мере роста использования.

Экономика проста: оплата за токены делает интенсивное использование более дорогим, тогда как собственная мощность становится эффективнее по мере её более активного использования командами. Однако владение не бывает бесплатным. Необходимо учитывать электроэнергию, эксплуатацию, обслуживание и амортизацию. Важен показатель полной стоимости одного объединённого запроса на включение изменений.

Собственная вычислительная мощность также создаёт ценность, которая никогда не появляется в счёте: контроль над чувствительным кодом. Когда генерация кода и тестирование выполняются локально, собственный код остаётся внутри предприятия. Только одобренные запросы для планирования и контролируемые исключения направляются во внешние модели через шлюз, которым управляет организация. Это открывает доступ к чувствительным репозиториям, где безопасность обычно тормозит внедрение и где ожидаются наибольшие выгоды.

Проверьте операционную модель

В HPE гибридная ИИ-платформа направляет рутинные рабочие нагрузки более чем от 150 внутренних приложений к моделям с открытыми весами, работающим локально, в том числе на HPE Private Cloud AI. Результат: снижение стоимости токенов на 30–50%.

В этом и заключается смысл гибридного подхода. С HPE Private Cloud AI владение вычислениями для инференса не означает отказ от передовых моделей. Выполняйте основной объём работы на принадлежащей вам мощности, а сложнейшие задачи поручайте шлюзу.

Данные также показывают, что расходы определяет использование, а не количество лицензированных сотрудников. На 5% самых активных пользователей приходилась большая часть потребления, а самые интенсивные пользователи использовали ресурс примерно в 450 раз больше, чем наименее активные пользователи с той же лицензией. Если доля активных пользователей вырастет с небольшого меньшинства до половины сотрудников, ежемесячные расходы при неизменной численности персонала могут увеличиться примерно в 4,4 раза. Ваша структура будет иной — именно поэтому её необходимо измерять.

HPE отслеживает два показателя и рекомендует делать то же самое клиентам. Во-первых, компания отслеживает стоимость на одного активного разработчика, поскольку усреднение по всем лицензиям скрывает активных пользователей, формирующих расходы. Во-вторых, она отслеживает стоимость одного объединённого запроса на включение изменений, поскольку этот показатель связывает расходы на ИИ с выпущенным программным обеспечением.

Определите базовые значения обоих показателей до изменения инфраструктуры. Затем проведите полный цикл разработки на собственной мощности. Если оба показателя не улучшаются по мере роста использования, ваша текущая модель всё ещё может быть лучшим выбором.

Создавайте условия для внедрения, а не для нормирования

Собственная вычислительная мощность подходит не всем. Низкое или непредсказуемое использование делает API предпочтительнее, поскольку в простаивающую инфраструктуру не требуется вкладывать капитал. Владение окупается, когда устойчивый спрос поддерживает её высокую загрузку. Большинство предприятий будут использовать гибридную модель: передовые API для сложной или периодической работы, собственную мощность — для повторяющихся больших объёмов. Управляемый шлюз определяет, что покидает здание, поэтому вы получаете доступ к передовым моделям, не отказываясь от контроля над своим кодом.

По мере того как разработчики будут всё активнее полагаться на агентов для программирования, использование продолжит расти. Реальный выбор заключается в том, проявится ли этот рост в увеличении счёта с переменными расходами или в большем объёме выпущенного программного обеспечения на принадлежащей вам мощности. Компании, которые возглавят разработку с помощью ИИ, не станут ограничивать внедрение ради контроля затрат. Они создадут операционную модель, в которой более активное использование ИИ улучшает экономику, а не подрывает её.

Чтобы узнать больше о HPE Private Cloud AI, посетите HPE.

Этот материал подготовлен HPE. Он не был написан редакцией MIT Technology Review.