Perplexity представи Photon с по-ниска латентност при търсене
Perplexity представи Photon — собствена машина за извличане и класиране, написана на Rust. Тя заменя отворен двигател, форкнат по-рано за AI-native търсачката на компанията, и вече обслужва целия продукционен трафик. Photon стои и зад Fast Search в Perplexity Search API. За използването му се задава search_type: "fast" при POST /search, а цената е $1 на 1 000 заявки. Самият Photon не е с отворен код и не може да се хоства самостоятелно.
При предишната система p99 латентността в продукция е била около 800 ms. Студените четения, сливането на дискови индекси и възстановяването след проблеми са предизвиквали допълнителни забавяния. Photon разпределя заявките към групи от шарди, извършва извличане и два етапа на класиране и използва адаптивни списъци, бюджетирано обхождане, компактни записи за документите и пакетни асинхронни четения. Изграждането и обслужването на индексите са разделени.
Perplexity съобщава, че Photon е свалил p99 латентността на извличането и класирането до около 65 ms и работи с около 20% по-малко обслужващи машини. Fast Search показва 160 ms при p50 и 230 ms при p95. В 3 554 задачи режимът е постигнал 64,3% при оценена цена $59,73, спрямо 64,0% и $187,60 за стандартната настройка. При него са отчетени по-ниска релевантност и по-ниска наличност на отговори.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.