Форматы LLM различаются способом хранения и требованиями к железу
GGUF, GPTQ, AWQ, EXL2 и EXL3 решают одну основную задачу: уменьшают объём памяти, необходимый для запуска больших языковых моделей. В руководстве отдельно рассматриваются контейнеры, описывающие хранение тензоров, и методы квантования, сокращающие число битов на веса. Safetensors и файлы PyTorch являются контейнерами, а GPTQ, AWQ и квантование llama.cpp — методами. Оценка памяти относится только к весам: KV-кэш и накладные расходы выполнения требуют дополнительного объёма.
GGUF — нативный формат llama.cpp. Он способен хранить в одном файле веса, токенизатор, специальные токены и шаблон чата. Доступные семейства квантования дают примерно от 1,56 до 6,56 бит на вес; для повышения качества на низких разрядностях можно применять калибровку imatrix. GPTQ и AWQ — калибруемые методы, обычно используемые на GPU. bitsandbytes NF4 выполняет квантование во время загрузки и остаётся распространённым вариантом для дообучения QLoRA.
EXL2 предназначен для ExLlamaV2 и пользовательских GPU NVIDIA, поддерживая смешанные значения, например 4,65 бита на вес. EXL3, созданный на основе QTIP, рассчитан на очень низкие разрядности и добавляет квантование KV-кэша и мультимодальный вывод, но требует CUDA 12.4 или новее. На компьютерах Apple Silicon распространены GGUF через llama.cpp и MLX. При выборе формата важна совместимость с конкретной библиотекой запуска.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.