Perplexity пусна с отворен код инференс двигателя Lily
Perplexity публикува с отворен код Lily — локалния инференс двигател, използван от Hybrid Compute в Perplexity Computer. Средата е написана на Rust и използва специално разработени Metal ядра, без PyTorch или MLX в изпълнителния път. Публична демонстрация в хранилището pplx-garden осигурява генериране на текст чрез минимален OpenAI-съвместим HTTP API.
Lily е създаден специално за Qwen3.6-35B-A3B върху Apple silicon. Чекпойнтът в 4-битов формат заема 19.4 GB, така че Mac с поне 32 GB обединена памет е практичният минимум. Моделът активира приблизително 3B параметъра за токен и съчетава маршрутизиране между експерти с пълно внимание и слоеве Gated DeltaNet. Имплементацията обединява деквантизацията с матричното умножение и изпълнява маршрутизирането на GPU.
При тестове с M5 Max с 40 ядра и 128 GB Lily е постигнал средно 4 156 токена в секунда при prefill и 170.0 при decode, спрямо 3 388 и 126.4 за MLX-LM. Това съответства на 1.23 пъти по-висока скорост при prefill и 1.35 пъти при decode. Проверка с teacher forcing отчита с 0.04% по-висока perplexity, като най-високо класираният токен е същият в 96.35% от позициите.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.