В руководстве создан мультимодальный RAG-конвейер на NVIDIA NeMo Retriever
В руководстве показано создание мультимодального конвейера retrieval-augmented generation на базе NVIDIA NeMo Retriever. Работа начинается в окружении Python 3.12: PDFium извлекает текст из PDF в автономном режиме, без графического процессора и внешнего API-ключа. Для примера загружается мультимодальный PDF-документ, после чего проверяются полученные строки, поля и текст страниц.
Расширенный процесс подключает размещённые NVIDIA NIM endpoints для обнаружения элементов страниц, OCR, структурирования таблиц и анализа графики. Из документа извлекаются текст, таблицы, диаграммы и инфографика. Данные разбиваются на фрагменты с ограничением по числу токенов, очищаются от дубликатов, преобразуются в плотные embeddings с помощью nvidia/llama-nemotron-embed-1b-v2 и сохраняются вместе с метаданными в LanceDB.
Затем демонстрируются плотный и пакетный поиск, vision-language reranking с nvidia/llama-nemotron-rerank-vl-1b-v2 и фильтрация по метаданным. Модель Nemotron формирует ответы на основе найденного контекста и добавляет встроенные ссылки на источники. Небольшая проверка recall-at-k оценивает качество поиска; таблица LanceDB и Markdown-представление сохраняются как результаты работы.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.