Форматите за езикови модели се различават по съхранение и хардуер
GGUF, GPTQ, AWQ, EXL2 и EXL3 решават един и същ основен проблем: намаляват паметта, необходима за изпълнение на големи езикови модели. Ръководството разграничава контейнерите, които описват как се съхраняват тензорите, от методите за квантизация, които намаляват броя битове за теглата. Safetensors и файловете на PyTorch са контейнери, а GPTQ, AWQ и квантизацията на llama.cpp са методи. Оценките за паметта включват само теглата; кешът KV и режийните разходи на изпълнението изискват допълнителна памет.
GGUF е нативният формат на llama.cpp и може да съдържа в един файл теглата, токенизатора, специалните токени и шаблон за чат. Семействата му за квантизация обхващат приблизително 1,56–6,56 бита на тегло, като за подобряване на резултатите при ниска битова дълбочина може да се използва калибриране с imatrix. GPTQ и AWQ са калибрирани методи, често използвани с графични процесори, докато bitsandbytes NF4 квантизира модела при зареждане и остава широко използван за дообучаване с QLoRA.
EXL2 е предназначен за ExLlamaV2 и потребителски графични процесори NVIDIA, като допуска смесени стойности, например 4,65 бита на тегло. EXL3 е базиран на QTIP, поддържа много ниска битова дълбочина и функции като квантизиран KV кеш и мултимодално изпълнение, но изисква CUDA 12.4 или по-нова версия. При Apple Silicon утвърдени варианти са GGUF чрез llama.cpp и MLX. Съвместимостта с конкретния изпълнител остава ключова при избора.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.