Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← До новин

Формати LLM відрізняються зберіганням, квантуванням і вимогами до обладнання

GGUF, GPTQ, AWQ, EXL2 та EXL3 розв’язують одну основну проблему: зменшують обсяг пам’яті для запуску великих мовних моделей. У посібнику розмежовано контейнери, які визначають спосіб зберігання тензорів, і методи квантування, що скорочують кількість бітів на ваги. Safetensors і файли PyTorch є контейнерами, тоді як GPTQ, AWQ та квантування llama.cpp — методами. Оцінки пам’яті стосуються лише ваг: KV-кеш і накладні витрати виконання потребують додаткового простору.

GGUF є нативним форматом llama.cpp і може зберігати в одному файлі ваги, токенізатор, спеціальні токени та шаблон чату. Його сімейства квантування охоплюють приблизно від 1,56 до 6,56 біта на вагу; для покращення якості на низьких розрядностях доступне калібрування imatrix. GPTQ і AWQ є каліброваними методами, які часто застосовують на GPU. bitsandbytes NF4 квантує модель під час завантаження й залишається поширеним шляхом для донавчання QLoRA.

EXL2 призначений для ExLlamaV2 і споживчих GPU NVIDIA та підтримує змішані значення, зокрема 4,65 біта на вагу. EXL3, побудований на QTIP, працює з дуже низькими розрядностями й додає квантування KV-кешу та мультимодальний висновок, але потребує CUDA 12.4 або новішої. Для Apple Silicon поширеними варіантами є GGUF через llama.cpp і MLX. Вибір залежить передусім від сумісності з конкретним середовищем запуску.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини