Together AI представила компилятор для постоянной оптимизации инференса
Together AI представила Together Compiler (TKCC) — систему с агентами, которая повторно оптимизирует прямой проход инференса по мере изменения производственного трафика. На вход она получает команду запуска сервера, профиль трафика и конфигурацию оборудования. Агенты, пишущие код, предлагают варианты, а постоянно работающий сервер измеряет их и может внедрить наиболее быстрый. По данным компании, система уже используется на нескольких её serverless-эндпоинтах.