У посібнику створено мультимодальний RAG-конвеєр із NVIDIA NeMo Retriever
Посібник описує створення мультимодального конвеєра retrieval-augmented generation на базі NVIDIA NeMo Retriever. Робота починається в середовищі Python 3.12: PDFium виконує офлайн-вилучення тексту з PDF без графічного процесора та зовнішнього API-ключа. Для демонстрації завантажується мультимодальний PDF-документ, а потім перевіряються отримані рядки, поля й текст сторінок.
Розширений процес підключає розміщені NVIDIA NIM endpoints для виявлення елементів сторінок, OCR, структурування таблиць і аналізу графічних об’єктів. Із документа вилучаються текст, таблиці, діаграми та інфографіка. Дані розподіляються на фрагменти з обмеженням за токенами, очищуються від дублікатів, перетворюються на щільні embeddings за допомогою nvidia/llama-nemotron-embed-1b-v2 і зберігаються разом із метаданими в LanceDB.
Далі посібник демонструє щільний і пакетний пошук, vision-language reranking із nvidia/llama-nemotron-rerank-vl-1b-v2 та фільтрацію за метаданими. Модель Nemotron генерує відповіді на основі знайденого контексту й додає вбудовані посилання на джерела. Невеликий тест recall-at-k оцінює якість пошуку, а таблиця LanceDB і Markdown-представлення зберігаються як результати.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.