Sakhanda Wire
NVDA $153.61 -1.62% MSFT $506.27 -2.26% GOOGL $280.41 -1.17% META $623.08 -0.53% AMZN $257.66 -0.03%
← К новостям

Perplexity представила контекстную модель для поиска доказательств

Perplexity Research и turbopuffer выпустили pplx-embed-v2-context-9b-preview — контекстную embedding-модель для RAG-систем. При создании вектора для каждого фрагмента она учитывает весь документ. Такой подход предназначен для поиска не только ответа, но и сведений, позволяющих его проверить. Модель доступна как предварительная версия для самостоятельного развертывания; веса опубликованы на Hugging Face по лицензии MIT. В API Perplexity она пока не включена. В карточке модели указано, что веса и интерфейс могут измениться без обратной совместимости. Для загрузки требуются transformers>=5.4.0 и trust_remote_code=True.

Вместо разметки одного «эталонного» фрагмента разработчики использовали более детальный сигнал. Модель сжатия контекста, учитывающая запрос, оценивает каждый токен документа. Затем оценки объединяются внутри фрагментов и преобразуются в вероятностное целевое распределение. Студентская модель воспроизводит его с помощью forward KL divergence, а документ дополнительно оценивается через InfoNCE по лучшему фрагменту. При обучении применяются случайные схемы разбиения документа, поэтому границы можно менять без повторной разметки.

В основе лежит внутренняя 9B ColBERT-модель поиска. Она формирует embeddings размерностью 2048, а Matryoshka-обучение поддерживает размерность 1024. Квантизационно-ориентированное обучение позволяет получать int8-векторы. Для обучения использовали примерно 430 наборов данных на более чем 50 языках; данные ConTEB не применялись.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости