Perplexity представила контекстну модель для пошуку доказів
Perplexity Research і turbopuffer випустили pplx-embed-v2-context-9b-preview — контекстну embedding-модель для RAG-систем. Під час створення вектора для кожного фрагмента вона враховує весь документ. Такий підхід має допомагати знаходити не лише відповідь, а й матеріал, потрібний для її перевірки. Модель доступна як попередня версія для самостійного розгортання, а її ваги опубліковано на Hugging Face за ліцензією MIT. У Perplexity API вона поки що не доступна. У картці моделі зазначено, що ваги та інтерфейс можуть змінюватися без зворотної сумісності. Для завантаження потрібні transformers>=5.4.0 і trust_remote_code=True.
Замість позначення одного «еталонного» фрагмента розробники використали детальніший сигнал релевантності. Модель стиснення контексту, яка враховує запит, оцінює кожен токен документа. Потім оцінки об’єднуються в межах фрагментів і перетворюються на цільовий розподіл. Студентська модель навчається відтворювати його за допомогою forward KL divergence, а документ додатково оцінюється через InfoNCE за найкращим фрагментом. Під час навчання застосовуються випадкові стратегії поділу документа.
Модель створено на основі внутрішньої 9B ColBERT-моделі пошуку. Вона формує embeddings розмірністю 2048, а Matryoshka-навчання підтримує 1024. Квантизаційно-орієнтоване навчання дає змогу створювати int8-вектори. Для навчання використали приблизно 430 наборів даних більш ніж 50 мовами, без даних ConTEB.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.