Perplexity открыла исходный код инференс-движка Lily
Perplexity опубликовала исходный код Lily — локального инференс-движка, который используется в Hybrid Compute для Perplexity Computer. Среда написана на Rust и работает со специально созданными ядрами Metal, без PyTorch и MLX в цепочке выполнения. В репозитории pplx-garden доступна отдельная демонстрация с генерацией текста и минимальным HTTP API, совместимым с OpenAI.
Lily рассчитана на Qwen3.6-35B-A3B и компьютеры Apple silicon. Чекпойнт в 4-битном формате занимает 19.4 GB, поэтому практическим минимумом считается Mac с 32 GB объединённой памяти. Модель активирует около 3B параметров на токен и сочетает маршрутизацию по экспертам со слоями полного внимания и Gated DeltaNet. Деквантизация объединена с матричным умножением, а операции маршрутизации выполняются на GPU.
На M5 Max с 40 ядрами и 128 GB Lily в среднем обеспечивала 4 156 токенов в секунду при prefill и 170.0 при decode. Для MLX-LM соответствующие показатели составили 3 388 и 126.4 токена в секунду, что означает преимущество Lily в 1.23 раза и 1.35 раза. Проверка в режиме teacher forcing показала рост perplexity на 0.04%; наиболее вероятный токен совпадал в 96.35% позиций.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.