Sakhanda Wire
NVDA $153.61 -1.62% MSFT $506.27 -2.26% GOOGL $280.41 -1.17% META $623.08 -0.53% AMZN $257.66 -0.03%
← Към новините

Perplexity представи контекстуален модел за търсене на доказателства

Perplexity Research и turbopuffer представиха pplx-embed-v2-context-9b-preview — контекстуален модел за векторно търсене в RAG системи. Той създава embedding за всеки фрагмент, като при обработката му взема предвид целия документ. Целта е системата да намира не само отговора, но и информацията, необходима за проверката му. Моделът е достъпен като предварителна версия за самостоятелно хостване, а теглата му са публикувани в Hugging Face под лиценза MIT. Засега не е наличен през API на Perplexity. Документацията предупреждава, че теглата и интерфейсът могат да се променят без обратна съвместимост. Зареждането изисква transformers>=5.4.0 и trust_remote_code=True.

Вместо да обозначава един-единствен „златен“ фрагмент, обучението използва по-плавен сигнал за релевантност. Модел за компресиране на контекста оценява токените според заявката, а оценките се обобщават за всеки фрагмент и се превръщат в целево разпределение. Студентският модел се обучава чрез forward KL divergence и документна InfoNCE загуба, при която документът получава оценка според най-силния си фрагмент. По време на обучението се използват случайни стратегии за разделяне.

Моделът е базиран на вътрешен 9B ColBERT модел и генерира вектори с 2048 измерения; Matryoshka обучението поддържа и 1024. Обучението обхваща приблизително 430 набора от данни и над 50 езика, без данни от ConTEB.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини