Together AI представи компилатор за постоянно оптимизиране на инференса
Together AI представи Together Compiler (TKCC) — система с автономни агенти, която многократно оптимизира forward pass етапа на инференса според промените в производствения трафик. Тя приема команда за стартиране на сървъра, профил на трафика и хардуерна конфигурация. Кодиращи агенти предлагат варианти, а постоянно работещият inference engine ги измерва и може да внедри най-добрия. Според компанията системата вече се използва на няколко нейни serverless endpoints.