Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← К новостям

Perplexity открыла исходный код инференс-движка Lily

Perplexity опубликовала исходный код Lily — локального инференс-движка, который используется в Hybrid Compute для Perplexity Computer. Среда написана на Rust и работает со специально созданными ядрами Metal, без PyTorch и MLX в цепочке выполнения. В репозитории pplx-garden доступна отдельная демонстрация с генерацией текста и минимальным HTTP API, совместимым с OpenAI.

Lily рассчитана на Qwen3.6-35B-A3B и компьютеры Apple silicon. Чекпойнт в 4-битном формате занимает 19.4 GB, поэтому практическим минимумом считается Mac с 32 GB объединённой памяти. Модель активирует около 3B параметров на токен и сочетает маршрутизацию по экспертам со слоями полного внимания и Gated DeltaNet. Деквантизация объединена с матричным умножением, а операции маршрутизации выполняются на GPU.

На M5 Max с 40 ядрами и 128 GB Lily в среднем обеспечивала 4 156 токенов в секунду при prefill и 170.0 при decode. Для MLX-LM соответствующие показатели составили 3 388 и 126.4 токена в секунду, что означает преимущество Lily в 1.23 раза и 1.35 раза. Проверка в режиме teacher forcing показала рост perplexity на 0.04%; наиболее вероятный токен совпадал в 96.35% позиций.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости