Курсът на Decoding AI с отворен код очертава три начина за стартиране на агентски цикъл и икономиката на доставчиците зад всеки от тях

Повечето екипи приемат, че „кой модел“ е важното решение. Литературата за инженеринг на харнеси сочи в друга посока. В експеримента на LangChain с Terminal-Bench промяната само на харнеса — при един и същ модел през цялото време — изкачи кодиращ агент от приблизително 30-о място до топ 5.

Този резултат преформулира въпроса. Ако харнесът определя качеството, тогава как изпълнявате цикъла се превръща в архитектурно решение, а не в детайл по внедряването. Отвореният курс на Paul Iusztin Изграждане на кодиращ агент от нулата създава Python агент, наречен Decode. Публикуван чрез Decoding AI, той разделя изпълнението на три режима. Всеки режим има различен профил на латентност. Затова всеки от тях изисква различен доставчик на инференс.

Едно ядро без интерфейс, три форми

В центъра на системата се намира харнес без интерфейс, който няма собствен интерфейс. В него се изпълнява цикълът на агента, общ за всички харнеси: LLM избира действие, инструмент го изпълнява, а наблюдението се подава обратно. Всичко се чете от прозореца на контекста и се записва в него.

Самият агент е малък. В Decode той представлява дефиниция от около 20 реда на Pydantic AI, която съчетава модел, инструменти и тип на изхода. В изтеклия изходен код на Claude Code основният цикъл е приблизително 150 реда. Всичко останало — памет, умения, пясъчник, разрешения, обратна връзка от LSP, компресиране — е харнес.

След това интерфейсите се включват към това ядро. Именно тук се появяват трите режима:

Режим 1: Интерактивен, онлайн

Терминалният интерфейс е свързан с една активна сесия в паметта и в същия процес. Събитията се предават обратно чрез асинхронни генератори, докато пристигат токените.

Трудният проблем тук е насочването. Ако пишете, докато се изпълнява извикване на инструмент, незабавното вмъкване на съобщението поврежда хода. Отговорът на Decode е опашка за насочване плюс приоритетен шлюз. Входът се буферира при пристигане и се вмъква само на безопасна граница. Цикълът разкрива две такива граници: MODEL_REQUEST, преди следващото извикване на модела, и WOULD_STOP, когато ходът би приключил.

Трите режима на въвеждане се съпоставят с това. Обикновеният Enter насочва агента в рамките на хода. Alt+Enter поставя последващо съобщение на опашка, докато ходът приключи. Esc задейства кооперативно прекъсване на следващата граница, като изчиства и двете опашки, така че историята да остане непокътната.

Човек следи всеки токен. Този режим е ограничен от латентността, поради което е подходящ за хостван API с ниска латентност.

Режим 2: Отдалечен, офлайн

Отдалеченият режим запазва харнеса без интерфейс и го изпълнява на сървър чрез среда за изпълнение на агенти. Decode използва Kitaru, средата за изпълнение на агенти на ZenML, внедрена в GCP, като самите агенти се изпълняват в Modal.

Никой не наблюдава процеса. Изоставането от задачи се разпределя към N харнеса паралелно, като всеки създава собствен PR. Тъй като средата записва напредъка стъпка по стъпка, пясъчник, който прекъсне по средата на задачата, продължава от последната записана стъпка, вместо да започва отначало. Изпълнение, което спре заради нужда от човешки вход, замразява работата и не използва изчислителни ресурси, докато чака.

Инструментите се изпълняват отдалечено в пясъчници на Modal, а локално — в Docker. Важният показател е производителността за долар, а не времето до първия токен.

Режим 3: Асинхронен, онлайн

Третата форма се намира между другите две. Активна сесия предава работата към опашка за задачи и незабавно връща резултат. Фоновите работни процеси разпределят извикванията към LLM и по-късно публикуват резултатите обратно.

Потребителят е онлайн, но не наблюдава всяка стъпка. Опашката управлява работата, така че изпълнението надживява клиента, който го е стартирал. Това е моделът зад агентите, задействани от Slack, и фоновия преглед на PR, като таксуването е като при пакетна обработка, а не като при чат.

Интерактивното обяснение

Защо доставчикът се променя според режима

Моделът на разходите следва изискването за латентност, а разликата е голяма.

Да вземем 1000 документа с по 30 000 входни токена всеки и приблизително 500 изходни токена на документ. При водещи API тарифи от 3 долара на милион входни и 15 долара на милион изходни токена сметката от урока достига приблизително 97 долара. Кеширането на подканите не помага, защото всеки документ има различен префикс. При пакетна обработка на безсървърен GPU със скорост около 3000 токена в секунда същата работа отнема под три часа GPU време — приблизително 13 долара.

Обратният случай е също толкова показателен. Моделът по подразбиране за тестове на Decode, Qwen3.6 35B, работи на един H200. Публикуваните цени на Modal посочват 0,001261 долара за секунда за H200 SXM, или приблизително 4,54 долара на час. Ако оставите интерактивен агент неактивен през нощта, докато чака потвърждение с y, десетте часа бездействие добавят приблизително 45 долара към сметката.

Това е целият аргумент. Интерактивната работа се таксува на токен, защото човек чака. Офлайн и асинхронната работа се таксува на GPU час, защото целта е производителност, а неактивното време е враг.

Съществува и втора ос: безсървърен капацитет спрямо резервиран капацитет. Анализът на цените на Modal свежда въпроса до едно сравнение. При резервациите се плаща пиковата ставка за целия срок на договора; безсървърният модел следва кривата на търсенето. Когато съотношението пик към средна стойност надхвърля отстъпката за резервация, безсървърният модел е по-евтин. Modal отчита типични отстъпки от 2–5 пъти спрямо съотношения пик към средна стойност от 5–10 пъти при инференс, обучение и разработка на агенти. Според цитираните от компанията отраслови проучвания използването на резервирания капацитет е под 30%, а често и под 10%.

Основни изводи

Харнесът е по-важен от модела: смяната само на харнеса изкачи агента от около 30-о място до топ 5 в Terminal-Bench.
Интерактивният режим е ограничен от латентността и насочва агента чрез опашка, която се източва на границите MODEL_REQUEST и WOULD_STOP.
Отдалеченият и асинхронният режим са ограничени от производителността, така че при голям обем таксуването на GPU час е по-изгодно от таксуването на токен.
1000 документа струват приблизително 97 долара при водещи API тарифи спрямо приблизително 13 долара за пакетно GPU време.
Безсървърният модел е по-изгоден винаги когато търсенето пик към средна стойност надхвърля отстъпката за резервация — обикновено 5–10 пъти спрямо 2–5 пъти.

Източници:

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.