Together AI представи компилатор за постоянно оптимизиране на инференса

Together AI представи Together Compiler (TKCC) — система с автономни агенти, която многократно оптимизира forward pass етапа на инференса според промените в производствения трафик. Тя приема команда за стартиране на сървъра, профил на трафика и хардуерна конфигурация. Кодиращи агенти предлагат варианти, а постоянно работещият inference engine ги измерва и може да внедри най-добрия. Според компанията системата вече се използва на няколко нейни serverless endpoints.

Енджинът се стартира еднократно, вместо да се рестартират vLLM, SGLang или TensorRT-LLM при всеки експеримент. Кандидатите се зареждат динамично чрез RPC, след което CUDA графите се заснемат отново. Бърз слой с 12 слоя отсява идеите, а бавен слой с 60 слоя ги проверява върху реални разпределения. Together AI съобщава за 252 пъти по-висока производителност на експериментите спрямо подход с рестартиране, както и за 1 354 проверени кандидата вместо 168.

В сравненията на компанията TKCC е постигнал до 2,6 пъти повече TPS от най-добрите публикувани конфигурации на InferenceX за под 24 часа на настройка и с най-много два възела на модел. Най-високият посочен резултат е 1 205 TPS за DeepSeek v4.1 Flash на GB300. MiniMax M3.1 Flash е достигнал 1 111 TPS на B200 при базови 633 TPS. Резултатите са зависели от модела и хардуера: GLM 5.3 на MI355X се е подобрил от 463 до 480 TPS.