Perplexity відкрила код інференс-рушія Lily для Apple silicon
Perplexity відкрила код Lily — локального рушія інференсу, який працює в Hybrid Compute для Perplexity Computer. Середовище написане на Rust і використовує спеціально створені ядра Metal, без PyTorch та MLX у ланцюжку виконання. Окрема демонстрація доступна в репозиторії pplx-garden: вона генерує текст через мінімальний HTTP API, сумісний з OpenAI.
Lily призначений для Qwen3.6-35B-A3B на пристроях Apple silicon. 4-бітний чекпойнт займає 19.4 GB, тому практичним мінімумом є Mac щонайменше з 32 GB об’єднаної пам’яті. Модель активує приблизно 3B параметрів на токен і поєднує маршрутизацію між експертами з шарами повної уваги та Gated DeltaNet. Деквантизація виконується разом із матричним множенням, а маршрутизація залишається на GPU.
Під час тестів на M5 Max із 40 ядрами та 128 GB Lily у середньому показав 4 156 токенів за секунду для prefill і 170.0 для decode. Для MLX-LM ці результати становили 3 388 і 126.4 токена за секунду, тобто перевага Lily дорівнювала 1.23 раза та 1.35 раза відповідно. Перевірка в режимі teacher forcing зафіксувала на 0.04% вищу perplexity, а найвище оцінений токен збігався у 96.35% позицій.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.