Sakhanda Wire
NVDA $153.61 -1.62% MSFT $506.27 -2.26% GOOGL $280.41 -1.17% META $623.08 -0.53% AMZN $257.66 -0.03%
← До новин

Perplexity представила контекстну модель для пошуку доказів

Perplexity Research і turbopuffer випустили pplx-embed-v2-context-9b-preview — контекстну embedding-модель для RAG-систем. Під час створення вектора для кожного фрагмента вона враховує весь документ. Такий підхід має допомагати знаходити не лише відповідь, а й матеріал, потрібний для її перевірки. Модель доступна як попередня версія для самостійного розгортання, а її ваги опубліковано на Hugging Face за ліцензією MIT. У Perplexity API вона поки що не доступна. У картці моделі зазначено, що ваги та інтерфейс можуть змінюватися без зворотної сумісності. Для завантаження потрібні transformers>=5.4.0 і trust_remote_code=True.

Замість позначення одного «еталонного» фрагмента розробники використали детальніший сигнал релевантності. Модель стиснення контексту, яка враховує запит, оцінює кожен токен документа. Потім оцінки об’єднуються в межах фрагментів і перетворюються на цільовий розподіл. Студентська модель навчається відтворювати його за допомогою forward KL divergence, а документ додатково оцінюється через InfoNCE за найкращим фрагментом. Під час навчання застосовуються випадкові стратегії поділу документа.

Модель створено на основі внутрішньої 9B ColBERT-моделі пошуку. Вона формує embeddings розмірністю 2048, а Matryoshka-навчання підтримує 1024. Квантизаційно-орієнтоване навчання дає змогу створювати int8-вектори. Для навчання використали приблизно 430 наборів даних більш ніж 50 мовами, без даних ConTEB.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини