Perplexity представила контекстную модель для поиска доказательств
Perplexity Research и turbopuffer выпустили pplx-embed-v2-context-9b-preview — контекстную embedding-модель для RAG-систем. При создании вектора для каждого фрагмента она учитывает весь документ. Такой подход предназначен для поиска не только ответа, но и сведений, позволяющих его проверить. Модель доступна как предварительная версия для самостоятельного развертывания; веса опубликованы на Hugging Face по лицензии MIT. В API Perplexity она пока не включена. В карточке модели указано, что веса и интерфейс могут измениться без обратной совместимости. Для загрузки требуются transformers>=5.4.0 и trust_remote_code=True.
Вместо разметки одного «эталонного» фрагмента разработчики использовали более детальный сигнал. Модель сжатия контекста, учитывающая запрос, оценивает каждый токен документа. Затем оценки объединяются внутри фрагментов и преобразуются в вероятностное целевое распределение. Студентская модель воспроизводит его с помощью forward KL divergence, а документ дополнительно оценивается через InfoNCE по лучшему фрагменту. При обучении применяются случайные схемы разбиения документа, поэтому границы можно менять без повторной разметки.
В основе лежит внутренняя 9B ColBERT-модель поиска. Она формирует embeddings размерностью 2048, а Matryoshka-обучение поддерживает размерность 1024. Квантизационно-ориентированное обучение позволяет получать int8-векторы. Для обучения использовали примерно 430 наборов данных на более чем 50 языках; данные ConTEB не применялись.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.