Sakhanda Wire
NVDA $154.93 -0.77% MSFT $505.37 -2.44% GOOGL $279.95 -1.33% META $618.13 -1.32% AMZN $257.42 -0.13%
← До новин

У посібнику створено мультимодальний RAG-конвеєр із NVIDIA NeMo Retriever

Посібник описує створення мультимодального конвеєра retrieval-augmented generation на базі NVIDIA NeMo Retriever. Робота починається в середовищі Python 3.12: PDFium виконує офлайн-вилучення тексту з PDF без графічного процесора та зовнішнього API-ключа. Для демонстрації завантажується мультимодальний PDF-документ, а потім перевіряються отримані рядки, поля й текст сторінок.

Розширений процес підключає розміщені NVIDIA NIM endpoints для виявлення елементів сторінок, OCR, структурування таблиць і аналізу графічних об’єктів. Із документа вилучаються текст, таблиці, діаграми та інфографіка. Дані розподіляються на фрагменти з обмеженням за токенами, очищуються від дублікатів, перетворюються на щільні embeddings за допомогою nvidia/llama-nemotron-embed-1b-v2 і зберігаються разом із метаданими в LanceDB.

Далі посібник демонструє щільний і пакетний пошук, vision-language reranking із nvidia/llama-nemotron-rerank-vl-1b-v2 та фільтрацію за метаданими. Модель Nemotron генерує відповіді на основі знайденого контексту й додає вбудовані посилання на джерела. Невеликий тест recall-at-k оцінює якість пошуку, а таблиця LanceDB і Markdown-представлення зберігаються як результати.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини