Hermes Desktop спростив налаштування локальних моделей одним кліком
Hermes Desktop отримав режим налаштування локальних моделей одним кліком. Застосунок аналізує апаратне забезпечення, перевіряє моделі з каталогу на відповідність пам’яті GPU, обирає найякіснішу збірку, що поміщається, завантажує ваги та налаштовує середовище виконання. Під час першого запуску цей процес запускається автоматично, а згодом його можна відкрити через Settings → Providers → Local Models.
Безплатний застосунок із ліцензією MIT використовує офіційну збірку llama.cpp, підібрану для конкретного обладнання. Hermes перевіряє її та оновлює; підтримуються CUDA, Metal, Vulkan, HIP і CPU. Hermes Desktop працює на macOS 12+, Windows 10/11 і дистрибутивах Linux. Для локальних моделей обліковий запис не потрібен.
Перед завантаженням кожна модель отримує оцінку: повністю поміщається в пам’яті GPU, частково використовує системну RAM або завелика для пристрою. Hermes обирає найякісніший варіант квантування, який повністю поміщається в GPU, а мінімальний рівень становить 4-bit. Для рекомендованих моделей гарантовано контекст щонайменше 64K. Якщо пам’яті бракує, спочатку до системної RAM переносяться ваги експертів, але не кеш уваги. Неактивні моделі вивантажуються через 15 хвилин.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.