Together AI представила компилятор для постоянной оптимизации инференса

Together AI представила Together Compiler (TKCC) — систему с агентами, которая повторно оптимизирует прямой проход инференса по мере изменения производственного трафика. На вход она получает команду запуска сервера, профиль трафика и конфигурацию оборудования. Агенты, пишущие код, предлагают варианты, а постоянно работающий сервер измеряет их и может внедрить наиболее быстрый. По данным компании, система уже используется на нескольких её serverless-эндпоинтах.

Сервер запускается один раз, поэтому vLLM, SGLang или TensorRT-LLM не приходится перезапускать для каждого эксперимента. Кандидаты загружаются через RPC, после чего CUDA-графы создаются заново. Быстрый режим с 12 слоями отбирает варианты, а медленный режим с 60 слоями проверяет их на реальных распределениях. Together AI сообщает о 252-кратном росте пропускной способности экспериментов по сравнению с базовым подходом с перезапуском: было проверено 1 354 кандидата против 168.

В опубликованном компанией сравнении TKCC показал до 2,6 раза больше TPS, чем лучшие конфигурации InferenceX, менее чем за 24 часа на одну настройку и максимум на двух узлах для модели. Лучший указанный результат составил 1 205 TPS для DeepSeek v4.1 Flash на GB300. Для MiniMax M3.1 Flash на B200 показатель достиг 1 111 TPS против базовых 633. Эффект зависел от модели и ускорителя: GLM 5.3 на MI355X вырос с 463 до 480 TPS.