Together AI представила компілятор для постійної оптимізації інференсу

Together AI представила Together Compiler (TKCC) — систему з агентами, яка повторно оптимізує прямий прохід інференсу зі зміною виробничого трафіку. Вона отримує команду запуску сервера, профіль трафіку та конфігурацію обладнання. Агенти, що пишуть код, пропонують варіанти, а постійно запущений рушій вимірює їх і може розгорнути найшвидший. За даними компанії, система вже працює на кількох її serverless-ендпойнтах.

Рушій запускається один раз, тому vLLM, SGLang або TensorRT-LLM не потрібно перезапускати для кожного експерименту. Кандидати завантажуються через RPC, після чого CUDA-графи записуються повторно. Швидкий рівень із 12 шарами відбирає варіанти, а повільний із 60 шарами перевіряє їх на реальних розподілах. Together AI повідомляє про 252-кратне збільшення пропускної здатності експериментів порівняно з підходом із перезапуском: перевірено 1 354 кандидати проти 168.

У порівняннях компанії TKCC показав до 2,6 раза більше TPS, ніж найкращі опубліковані конфігурації InferenceX, менш ніж за 24 години на один параметр і максимум на двох вузлах для моделі. Найвищий наведений результат — 1 205 TPS для DeepSeek v4.1 Flash на GB300. MiniMax M3.1 Flash на B200 досяг 1 111 TPS проти базових 633. Результати різняться за моделлю та обладнанням: GLM 5.3 на MI355X зріс із 463 до 480 TPS.