Perplexity представи контекстуален модел за търсене на доказателства
Perplexity Research и turbopuffer представиха pplx-embed-v2-context-9b-preview — контекстуален модел за векторно търсене в RAG системи. Той създава embedding за всеки фрагмент, като при обработката му взема предвид целия документ. Целта е системата да намира не само отговора, но и информацията, необходима за проверката му. Моделът е достъпен като предварителна версия за самостоятелно хостване, а теглата му са публикувани в Hugging Face под лиценза MIT. Засега не е наличен през API на Perplexity. Документацията предупреждава, че теглата и интерфейсът могат да се променят без обратна съвместимост. Зареждането изисква transformers>=5.4.0 и trust_remote_code=True.
Вместо да обозначава един-единствен „златен“ фрагмент, обучението използва по-плавен сигнал за релевантност. Модел за компресиране на контекста оценява токените според заявката, а оценките се обобщават за всеки фрагмент и се превръщат в целево разпределение. Студентският модел се обучава чрез forward KL divergence и документна InfoNCE загуба, при която документът получава оценка според най-силния си фрагмент. По време на обучението се използват случайни стратегии за разделяне.
Моделът е базиран на вътрешен 9B ColBERT модел и генерира вектори с 2048 измерения; Matryoshka обучението поддържа и 1024. Обучението обхваща приблизително 430 набора от данни и над 50 езика, без данни от ConTEB.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.