Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← Към новините

Perplexity пусна с отворен код инференс двигателя Lily

Perplexity публикува с отворен код Lily — локалния инференс двигател, използван от Hybrid Compute в Perplexity Computer. Средата е написана на Rust и използва специално разработени Metal ядра, без PyTorch или MLX в изпълнителния път. Публична демонстрация в хранилището pplx-garden осигурява генериране на текст чрез минимален OpenAI-съвместим HTTP API.

Lily е създаден специално за Qwen3.6-35B-A3B върху Apple silicon. Чекпойнтът в 4-битов формат заема 19.4 GB, така че Mac с поне 32 GB обединена памет е практичният минимум. Моделът активира приблизително 3B параметъра за токен и съчетава маршрутизиране между експерти с пълно внимание и слоеве Gated DeltaNet. Имплементацията обединява деквантизацията с матричното умножение и изпълнява маршрутизирането на GPU.

При тестове с M5 Max с 40 ядра и 128 GB Lily е постигнал средно 4 156 токена в секунда при prefill и 170.0 при decode, спрямо 3 388 и 126.4 за MLX-LM. Това съответства на 1.23 пъти по-висока скорост при prefill и 1.35 пъти при decode. Проверка с teacher forcing отчита с 0.04% по-висока perplexity, като най-високо класираният токен е същият в 96.35% от позициите.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини