Together AI представила компілятор для постійної оптимізації інференсу
Together AI представила Together Compiler (TKCC) — систему з агентами, яка повторно оптимізує прямий прохід інференсу зі зміною виробничого трафіку. Вона отримує команду запуску сервера, профіль трафіку та конфігурацію обладнання. Агенти, що пишуть код, пропонують варіанти, а постійно запущений рушій вимірює їх і може розгорнути найшвидший. За даними компанії, система вже працює на кількох її serverless-ендпойнтах.