Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← К новостям

NVIDIA представила TensorRT Model Connect в публичной предварительной версии

NVIDIA выпустила TensorRT Model Connect (TRTMC) в публичной предварительной версии как проект с открытым исходным кодом под лицензией Apache-2.0. Инструмент преобразует поддерживаемый checkpoint из Hugging Face или локальный checkpoint в TensorRT-инференс двумя командами, без промежуточного экспорта в ONNX. Результатом сборки становится версионированный файл .bundle, который можно загрузить через нативные C++ API задач и использовать в сервисах, встраиваемых приложениях и робототехнических системах без PyTorch в среде выполнения.

TRTMC построен на отдельных эталонных реализациях для семейств моделей, а не на одном универсальном конвертере. Python отвечает за поиск checkpoint и создание TensorRT engine, а C++ выполняет инференс из bundle. Доступны API generate(), transcribe(), generate_image(), embed() и solve(). Команда trtmc inspect показывает тип bundle, семейство модели, точность, идентификатор среды выполнения и engine. Для некоторых гибридных профилей требуется вспомогательный исполняемый файл Python; эта зависимость указана в их манифестах.

Готовые wheels сейчас предназначены только для Linux aarch64, Python 3.10 или 3.12, glibc 2.39 либо новее и TensorRT 11.1.0.106. Wheels для x86_64 не опубликованы, поэтому пользователям этой архитектуры нужен source build в Docker. По данным NVIDIA, snapshot для GB300 от 29 июля 2026 года включает 105 профилей в 76 семействах; 102 из них превысили заявленный ориентир более чем на 5%.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости