Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← До новин

Hugging Face додала підтримку GGUF у Transformers

Hugging Face додала до Transformers можливість запускати моделі у форматі GGUF. Квантизовані чекпойнти можна завантажувати через звичні API Python і PyTorch. На початковому етапі функція зосереджена на локальному запуску на Apple Silicon та архітектурі Qwen3.5. Користувач обирає файл GGUF на Hub і передає назву репозиторію та файлу у from_pretrained.

GGUF зберігає ваги моделі й метадані в одному файлі та підтримує різні рівні квантизації. Вони зменшують потребу в пам’яті, але можуть впливати на точність. Для Unsloth Qwen3.5-4B файл Q4_K_M має розмір 2.74 GB, тоді як BF16 — 8.42 GB. Розробники радять почати з Q4_K_M, а за наявності додаткової пам’яті спробувати Q5_K_M або Q6_K.

Transformers повторно використовує ядра ggml через бібліотеку kernels і, за наведеними тестами, наближається до llama.cpp на трьох чекпойнтах. Водночас умови вимірювань не були ідентичними. Інтеграція також підтримує transformers serve з OpenAI-сумісним API, оцінювання моделей, власну логіку генерації та деквантизацію для подальшого навчання. У статті llama.cpp і надалі названо рекомендованим рушієм для ефективного локального запуску.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини