Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← К новостям

Hermes Desktop упростил установку локальных моделей одним нажатием

Hermes Desktop получил режим настройки локальных моделей одним нажатием. Приложение анализирует оборудование компьютера, сопоставляет каталог с доступной памятью GPU, выбирает наиболее качественную сборку, которая помещается, загружает веса и настраивает среду выполнения. При первом запуске этот сценарий появляется автоматически, а позднее его можно открыть через Settings → Providers → Local Models.

Бесплатное приложение с лицензией MIT использует официальную сборку llama.cpp, соответствующую аппаратной конфигурации. Hermes проверяет её и поддерживает в актуальном состоянии; доступны бэкенды CUDA, Metal, Vulkan, HIP и CPU. Программа работает на macOS 12+, Windows 10/11 и дистрибутивах Linux. Для локальных моделей учётная запись не требуется.

До загрузки каждая модель получает оценку совместимости: полностью помещается в памяти GPU, использует системную RAM и работает медленнее либо не подходит машине. Hermes выбирает самое качественное квантование, которое целиком помещается в GPU, с минимальным уровнем 4-bit. Для рекомендованных моделей гарантируется контекст не менее 64K. При нехватке памяти в системную RAM сначала переносятся веса экспертов, но не кеш внимания. Неактивные модели выгружаются через 15 минут.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости