Sakhanda Wire
NVDA $154.93 -0.77% MSFT $505.37 -2.44% GOOGL $279.95 -1.33% META $618.13 -1.32% AMZN $257.42 -0.13%
← Към новините

Туториал изгражда мултимодулен RAG pipeline с NVIDIA NeMo Retriever

Туториал представя pipeline за мултимодулно retrieval-augmented generation, изграден с NVIDIA NeMo Retriever. Работата започва в среда с Python 3.12 и използва PDFium за извличане на текст от PDF офлайн. Така първоначалната обработка може да се изпълни без GPU и външен API ключ. Изтегля се примерен PDF файл, след което се проверяват извлечените редове, полета и текстът на страниците.

Разширеният вариант използва хоствани NVIDIA NIM endpoints за откриване на елементи по страниците, OCR, структуриране на таблици и анализ на графични елементи. От документа се извличат текст, таблици, диаграми и инфографики. Съдържанието се разделя на части с ограничения за токените, премахват се дубликати, създават се плътни embeddings чрез nvidia/llama-nemotron-embed-1b-v2 и резултатите се записват в LanceDB.

Следват плътно извличане, пакетни заявки, vision-language reranking с nvidia/llama-nemotron-rerank-vl-1b-v2 и търсене с филтри по метаданни. Езиков модел Nemotron генерира отговори само от намерения контекст и добавя вътрешни препратки към източниците. Малък recall-at-k тест проверява качеството на извличането, а LanceDB таблицата и Markdown файлът се запазват като артефакти.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини