Sakhanda Wire
NVDA $154.93 -0.77% MSFT $505.37 -2.44% GOOGL $279.95 -1.33% META $618.13 -1.32% AMZN $257.42 -0.13%
← К новостям

В руководстве создан мультимодальный RAG-конвейер на NVIDIA NeMo Retriever

В руководстве показано создание мультимодального конвейера retrieval-augmented generation на базе NVIDIA NeMo Retriever. Работа начинается в окружении Python 3.12: PDFium извлекает текст из PDF в автономном режиме, без графического процессора и внешнего API-ключа. Для примера загружается мультимодальный PDF-документ, после чего проверяются полученные строки, поля и текст страниц.

Расширенный процесс подключает размещённые NVIDIA NIM endpoints для обнаружения элементов страниц, OCR, структурирования таблиц и анализа графики. Из документа извлекаются текст, таблицы, диаграммы и инфографика. Данные разбиваются на фрагменты с ограничением по числу токенов, очищаются от дубликатов, преобразуются в плотные embeddings с помощью nvidia/llama-nemotron-embed-1b-v2 и сохраняются вместе с метаданными в LanceDB.

Затем демонстрируются плотный и пакетный поиск, vision-language reranking с nvidia/llama-nemotron-rerank-vl-1b-v2 и фильтрация по метаданным. Модель Nemotron формирует ответы на основе найденного контекста и добавляет встроенные ссылки на источники. Небольшая проверка recall-at-k оценивает качество поиска; таблица LanceDB и Markdown-представление сохраняются как результаты работы.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости