Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← До новин

NVIDIA відкрила публічний попередній доступ до TensorRT Model Connect

NVIDIA випустила TensorRT Model Connect (TRTMC) у публічній попередній версії як проєкт із відкритим кодом за ліцензією Apache-2.0. Інструмент перетворює підтримуваний checkpoint із Hugging Face або локальний checkpoint на TensorRT-інференс за допомогою двох команд, без проміжного експорту в ONNX. У результаті створюється версіонований файл .bundle, який можна завантажувати через нативні C++ API для задач і запускати в сервісах, embedded-застосунках та робототехнічних системах без PyTorch у runtime-шляху.

TRTMC містить окремі еталонні реалізації для сімейств моделей, а не один універсальний конвертер. Python відповідає за пошук checkpoint і побудову TensorRT engine, а C++ виконує інференс із bundle. Серед доступних API — generate(), transcribe(), generate_image(), embed() і solve(). Команда trtmc inspect показує тип bundle, сімейство моделі, точність, ідентифікатор середовища виконання та engine. Для частини гібридних профілів потрібен допоміжний виконуваний файл Python, і ця залежність зазначена в їхніх маніфестах.

Наразі готові wheels доступні лише для Linux aarch64, Python 3.10 або 3.12, glibc 2.39 чи новішої версії та TensorRT 11.1.0.106. Версії wheels для x86_64 не опубліковані, тому користувачам цієї архітектури потрібна збірка з вихідного коду через Docker. За даними NVIDIA, snapshot для GB300 від 29 липня 2026 року охоплює 105 профілів у 76 сімействах, а 102 перевищили заявлений орієнтир більш ніж на 5%.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини