Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← Към новините

Hermes Desktop добавя настройка на локални модели с едно кликване

Hermes Desktop вече предлага настройване на локални модели с едно кликване. Приложението анализира хардуера на компютъра, сравнява каталога с наличната памет на графичния процесор, избира най-качествената версия, която се побира, изтегля теглата и конфигурира средата за изпълнение. Процесът се показва при първото стартиране, а по-късно е достъпен от Settings → Providers → Local Models.

Приложението е безплатно и с лиценз MIT и използва официална версия на llama.cpp, съобразена с конкретния хардуер. То проверява и обновява тази версия, като поддържа CUDA, Metal, Vulkan, HIP и CPU. Hermes Desktop работи с macOS 12+, Windows 10/11 и дистрибуции на Linux. За локални модели не е нужен акаунт.

Преди изтегляне всеки модел получава оценка: изцяло в паметта на GPU, с прехвърляне към системната RAM или прекалено голям за машината. Избира се най-висококачествената квантизация, която се побира изцяло в GPU, като минимумът е 4-bit. Препоръчаните модели гарантират контекст от поне 64K. При недостиг на памет първо се преместват теглата на експертите, без кешът на вниманието да се прехвърля. Неактивните модели се освобождават след 15 минути.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини