Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← Към новините

Форматите за езикови модели се различават по съхранение и хардуер

GGUF, GPTQ, AWQ, EXL2 и EXL3 решават един и същ основен проблем: намаляват паметта, необходима за изпълнение на големи езикови модели. Ръководството разграничава контейнерите, които описват как се съхраняват тензорите, от методите за квантизация, които намаляват броя битове за теглата. Safetensors и файловете на PyTorch са контейнери, а GPTQ, AWQ и квантизацията на llama.cpp са методи. Оценките за паметта включват само теглата; кешът KV и режийните разходи на изпълнението изискват допълнителна памет.

GGUF е нативният формат на llama.cpp и може да съдържа в един файл теглата, токенизатора, специалните токени и шаблон за чат. Семействата му за квантизация обхващат приблизително 1,56–6,56 бита на тегло, като за подобряване на резултатите при ниска битова дълбочина може да се използва калибриране с imatrix. GPTQ и AWQ са калибрирани методи, често използвани с графични процесори, докато bitsandbytes NF4 квантизира модела при зареждане и остава широко използван за дообучаване с QLoRA.

EXL2 е предназначен за ExLlamaV2 и потребителски графични процесори NVIDIA, като допуска смесени стойности, например 4,65 бита на тегло. EXL3 е базиран на QTIP, поддържа много ниска битова дълбочина и функции като квантизиран KV кеш и мултимодално изпълнение, но изисква CUDA 12.4 или по-нова версия. При Apple Silicon утвърдени варианти са GGUF чрез llama.cpp и MLX. Съвместимостта с конкретния изпълнител остава ключова при избора.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини