Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

Hugging Face добавила поддержку GGUF в Transformers

Hugging Face добавила в Transformers возможность запускать модели в формате GGUF. Квантизированные чекпойнты можно загружать через привычные интерфейсы Python и PyTorch. На начальном этапе функция ориентирована на локальный запуск на устройствах Apple Silicon и на архитектуру Qwen3.5. Пользователь выбирает файл GGUF на Hub и передаёт репозиторий с именем файла в from_pretrained.

GGUF объединяет веса модели и метаданные в одном файле и поддерживает несколько уровней квантизации. Это уменьшает требования к памяти, но может снижать точность. Для Unsloth Qwen3.5-4B размер файла Q4_K_M составляет 2.74 GB, а BF16 — 8.42 GB. Разработчики предлагают начать с Q4_K_M, а при наличии дополнительной памяти попробовать Q5_K_M или Q6_K.

Transformers повторно использует ядра ggml через библиотеку kernels и, согласно приведённым тестам, показывает результаты, близкие к llama.cpp на трёх чекпойнтах. При этом условия измерений различались. Интеграция также поддерживает transformers serve с OpenAI-совместимым API, оценку моделей, собственные процедуры генерации и деквантизацию для дальнейшего обучения. В статье llama.cpp по-прежнему назван предпочтительным движком для эффективного локального запуска.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости