Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← До новин

Perplexity відкрила код інференс-рушія Lily для Apple silicon

Perplexity відкрила код Lily — локального рушія інференсу, який працює в Hybrid Compute для Perplexity Computer. Середовище написане на Rust і використовує спеціально створені ядра Metal, без PyTorch та MLX у ланцюжку виконання. Окрема демонстрація доступна в репозиторії pplx-garden: вона генерує текст через мінімальний HTTP API, сумісний з OpenAI.

Lily призначений для Qwen3.6-35B-A3B на пристроях Apple silicon. 4-бітний чекпойнт займає 19.4 GB, тому практичним мінімумом є Mac щонайменше з 32 GB об’єднаної пам’яті. Модель активує приблизно 3B параметрів на токен і поєднує маршрутизацію між експертами з шарами повної уваги та Gated DeltaNet. Деквантизація виконується разом із матричним множенням, а маршрутизація залишається на GPU.

Під час тестів на M5 Max із 40 ядрами та 128 GB Lily у середньому показав 4 156 токенів за секунду для prefill і 170.0 для decode. Для MLX-LM ці результати становили 3 388 і 126.4 токена за секунду, тобто перевага Lily дорівнювала 1.23 раза та 1.35 раза відповідно. Перевірка в режимі teacher forcing зафіксувала на 0.04% вищу perplexity, а найвище оцінений токен збігався у 96.35% позицій.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини