Туториал изгражда мултимодулен RAG pipeline с NVIDIA NeMo Retriever
Туториал представя pipeline за мултимодулно retrieval-augmented generation, изграден с NVIDIA NeMo Retriever. Работата започва в среда с Python 3.12 и използва PDFium за извличане на текст от PDF офлайн. Така първоначалната обработка може да се изпълни без GPU и външен API ключ. Изтегля се примерен PDF файл, след което се проверяват извлечените редове, полета и текстът на страниците.
Разширеният вариант използва хоствани NVIDIA NIM endpoints за откриване на елементи по страниците, OCR, структуриране на таблици и анализ на графични елементи. От документа се извличат текст, таблици, диаграми и инфографики. Съдържанието се разделя на части с ограничения за токените, премахват се дубликати, създават се плътни embeddings чрез nvidia/llama-nemotron-embed-1b-v2 и резултатите се записват в LanceDB.
Следват плътно извличане, пакетни заявки, vision-language reranking с nvidia/llama-nemotron-rerank-vl-1b-v2 и търсене с филтри по метаданни. Езиков модел Nemotron генерира отговори само от намерения контекст и добавя вътрешни препратки към източниците. Малък recall-at-k тест проверява качеството на извличането, а LanceDB таблицата и Markdown файлът се запазват като артефакти.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.