Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← Към новините

NVIDIA пусна TensorRT Model Connect в публичен предварителен достъп

NVIDIA пусна TensorRT Model Connect (TRTMC) в публичен предварителен достъп като проект с отворен код под лиценз Apache-2.0. Инструментът превръща поддържан checkpoint от Hugging Face или локален checkpoint в TensorRT inference с две команди, без междинен export към ONNX. Процесът създава версиониран .bundle файл, който може да се зареди чрез native C++ task API и да се използва в услуги, вградени приложения и роботизирани системи без PyTorch в runtime пътя.

TRTMC разчита на отделни референтни реализации за различни семейства модели, а не на един универсален конвертор. Python отговаря за намирането на checkpoint-а и изграждането на TensorRT engine, докато C++ изпълнява inference от bundle файла. Сред task API са generate(), transcribe(), generate_image(), embed() и solve(). Командата trtmc inspect показва вида на bundle-а, семейството на модела, прецизността, runtime идентичността и engine-ите. Някои хибридни профили изискват помощен Python executable, което е описано в manifest-ите им.

Публикуваните колела засега са само за Linux aarch64, Python 3.10 или 3.12, glibc 2.39 или по-нова и TensorRT 11.1.0.106. За x86_64 няма готови колела и е необходим source build чрез Docker. Според NVIDIA snapshot за GB300 от 29 юли 2026 г. включва 105 профила в 76 семейства, като 102 надминават декларираната си референция с над 5%.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини