Hugging Face добавила поддержку GGUF в Transformers
Hugging Face добавила в Transformers возможность запускать модели в формате GGUF. Квантизированные чекпойнты можно загружать через привычные интерфейсы Python и PyTorch. На начальном этапе функция ориентирована на локальный запуск на устройствах Apple Silicon и на архитектуру Qwen3.5. Пользователь выбирает файл GGUF на Hub и передаёт репозиторий с именем файла в from_pretrained.
GGUF объединяет веса модели и метаданные в одном файле и поддерживает несколько уровней квантизации. Это уменьшает требования к памяти, но может снижать точность. Для Unsloth Qwen3.5-4B размер файла Q4_K_M составляет 2.74 GB, а BF16 — 8.42 GB. Разработчики предлагают начать с Q4_K_M, а при наличии дополнительной памяти попробовать Q5_K_M или Q6_K.
Transformers повторно использует ядра ggml через библиотеку kernels и, согласно приведённым тестам, показывает результаты, близкие к llama.cpp на трёх чекпойнтах. При этом условия измерений различались. Интеграция также поддерживает transformers serve с OpenAI-совместимым API, оценку моделей, собственные процедуры генерации и деквантизацию для дальнейшего обучения. В статье llama.cpp по-прежнему назван предпочтительным движком для эффективного локального запуска.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.