NVIDIA представила TensorRT Model Connect в публичной предварительной версии
NVIDIA выпустила TensorRT Model Connect (TRTMC) в публичной предварительной версии как проект с открытым исходным кодом под лицензией Apache-2.0. Инструмент преобразует поддерживаемый checkpoint из Hugging Face или локальный checkpoint в TensorRT-инференс двумя командами, без промежуточного экспорта в ONNX. Результатом сборки становится версионированный файл .bundle, который можно загрузить через нативные C++ API задач и использовать в сервисах, встраиваемых приложениях и робототехнических системах без PyTorch в среде выполнения.
TRTMC построен на отдельных эталонных реализациях для семейств моделей, а не на одном универсальном конвертере. Python отвечает за поиск checkpoint и создание TensorRT engine, а C++ выполняет инференс из bundle. Доступны API generate(), transcribe(), generate_image(), embed() и solve(). Команда trtmc inspect показывает тип bundle, семейство модели, точность, идентификатор среды выполнения и engine. Для некоторых гибридных профилей требуется вспомогательный исполняемый файл Python; эта зависимость указана в их манифестах.
Готовые wheels сейчас предназначены только для Linux aarch64, Python 3.10 или 3.12, glibc 2.39 либо новее и TensorRT 11.1.0.106. Wheels для x86_64 не опубликованы, поэтому пользователям этой архитектуры нужен source build в Docker. По данным NVIDIA, snapshot для GB300 от 29 июля 2026 года включает 105 профилей в 76 семействах; 102 из них превысили заявленный ориентир более чем на 5%.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.