Hugging Face добави поддръжка на GGUF в Transformers
Hugging Face добави възможност Transformers да изпълнява GGUF модели, така че потребителите да зареждат квантизирани чекпойнти чрез познатите Python и PyTorch API. Първоначалният фокус е локално изпълнение на Apple Silicon и архитектурата Qwen3.5. Файл от Hub може да се избере и зареди чрез посочване на хранилището и името му във from_pretrained.
GGUF събира теглата и метаданните на модела в един файл и предлага различни нива на квантизация. Те намаляват използваната памет, но могат да понижат прецизността. При Unsloth Qwen3.5-4B файлът Q4_K_M е 2.74 GB, докато BF16 вариантът е 8.42 GB. Препоръката е да се започне с Q4_K_M, а при повече налична памет да се изпробват Q5_K_M или Q6_K.
Transformers използва ggml ядра чрез библиотеката kernels и според тестовете се доближава до llama.cpp при три чекпойнта, макар условията на измерване да не са идентични. Интеграцията включва и transformers serve с OpenAI-съвместим API, инструменти за оценяване, персонализирано генериране и деквантизация за последващо обучение. Статията посочва, че llama.cpp остава препоръчителният двигател при приоритет ефективното локално изпълнение.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.