Meta повертається з Muse Glimmer: локальною, агентною, мультимодальною та з відкритим кодом

Meta повернулася з Muse Glimmer: локальна, агентна, мультимодальна та з відкритим кодом! Чудові новини від засновників відкритих LLM! Muse Glimmer, випущена сьогодні, — це нова мультимодальна модель Meta, спеціально розроблена для локальних агентних сценаріїв використання. Дистильована з Muse до 30 млрд параметрів і випущена за ліцензією Apache 2.0, вона ідеально підходить для локального розгортання задля конфіденційності, зниження витрат або просто експериментів. Вона призначена для застосунків, орієнтованих на конфіденційність, зокрема для програмування, аналізу документів, персональних помічників і конфігурацій на кшталт Claw або Hermes.

На честь релізу ми спільно з Meta з першого дня додаємо підтримку в transformers, llama.cpp, vLLM, Inference Endpoints та інших бібліотеках. Ми створили кілька цікавих речей і пояснюємо наші результати в цьому дописі. Перегляньте наведені нижче демонстрації для натхнення. Ви можете знайти Muse Glimmer на Hugging Face Hub.

Бенчмарки

Результати бенчмарків

Бали наведено в опублікованому вигляді. Жирним позначено найкращий результат серед порівнюваних моделей; ↓ означає, що менше — краще.

Архітектура

Muse Glimmer — це щільна модель із 30 млрд параметрів, що складається з:

• кодера у стилі ViT на 2 млрд параметрів для обробки зображень (Perception Encoder)
• текстового декодера на 28 млрд параметрів

Окрім основної VLM, є також модуль для спекулятивного декодування, реалізований на DFlash. Використання цього модуля необов’язкове: він може забезпечити значно швидшу генерацію ціною додаткового використання пам’яті. Ми виявили, що цей модуль особливо добре підходить для генерації структурованого вмісту, наприклад коду.

Текстовий декодер

Мовна модель використовує такі компоненти архітектури:

• Гібридна увага: чергування трьох шарів із ковзним вікном (по 2 048 токенів), що використовують обертальні позиційні ембеддинги, із четвертим шаром, який використовує повну увагу та NoPE (без позиційного ембеддингу). Таким чином, шаблон (SWA, SWA, SWA, Full) повторюється 13 разів, загалом утворюючи 52 шари. Це дає змогу моделі зберігати інформацію про відносний порядок і відстань за допомогою RoPE та глобально зберігати інформацію за допомогою NoPE.
• Керована згрупована увага до запитів: кожна голова ключів-значень спільно використовується 16 головами запитів, що зменшує обсяг пам’яті KV-кешу в 16 разів і робить генерацію швидшою та дешевшою.
• Нормалізація Q-K із додатковим масштабуванням запитів: перед обчисленням уваги Muse Glimmer застосовує RMS-нормалізацію до кожної голови запитів і ключів, щоб стабілізувати логіти уваги. Після цього запити множаться на коефіцієнт масштабування для встановлення цільового масштабу логітів після нормалізації. Додаткове масштабування запитів поводиться як обернена температура на рівні softmax.

Кодер сприйняття

Muse Glimmer використовує один кодер зображень для роботи і зображеннями, і відео. На відміну від відносно невеликих візуальних кодерів, що використовуються в інших VLM, це значна модель на 2 млрд параметрів у стилі ViT, розроблена на основі архітектури Perception Encoder. Perception Encoder раніше була представлена Meta як основа для різноманітних просторових і мультимодальних завдань наступного етапу.
Кодер розбиває зображення на патчі форми 2 кадри x 3 канали x 14 x 14 і передає їх через лінійний шар для проєкції. Потім до цих ембеддингів додається інтерпольований абсолютний позиційний ембеддинг із навченої таблиці позицій. Далі вони передаються до візуальної вежі, яка складається з 50 шарів і MLP із GELU. Як і в мовній моделі, шаблон уваги складається з трьох шарів віконної уваги, за якими йде один шар повної уваги. Усередині шарів уваги до запитів і ключів застосовується 2D RoPE.

Після трансформера pixel shuffle об’єднує групи 2x2 сусідніх просторових токенів, що вчетверо зменшує кількість токенів зображення без відкидання їхніх каналів. Потім об’єднані ознаки проєктуються у спільний простір ембеддингів текстового декодера.

Відео проходить через той самий кодер покадрово, причому кожен кадр перетворюється на патчі (форми [batch, temporal groups, grid height, grid width, 2 frames, 3 channels, 14, 14]). Процесор обробляє 2 кадри на секунду й обмежує кліп 96 кадрами, рівномірно відібраними з відео. Процесор створює заповнювачі відео з часовими мітками, чергуючи текст із кадрами, наприклад «Time: 0.0s <|video|> x N», після чого перед фінальним проєкційним шаром вони замінюються остаточними відеоембеддингами.

Transformers

Оновіть transformers до останньої версії, щоб мати змогу використовувати Muse Glimmer.

pip install --upgrade transformers accelerate

Muse Glimmer має підтримку в transformers із першого дня — як для основної моделі, так і для модуля спекулятивного декодування. Для завантаження моделі та процесора можна використовувати класи AutoModelForMultimodalLM і AutoProcessor.

from transformers import AutoProcessor, AutoModelForMultimodalLM

MODEL_ID = "meta-models/Muse-Glimmer-30B"


processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
    MODEL_ID,
    dtype="auto",
    device_map="auto"
)

Цей самий фрагмент коду працює без змін на графічних процесорах NVIDIA (CUDA), AMD (ROCm) та Intel (XPU); device_map="auto" розміщує модель на доступному прискорювачі.

Інференс лише тексту

Після завантаження моделі можна виконувати інференс лише тексту так:

messages = [
    {"role": "user", "content": "Write a short joke about saving RAM."},
]


inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    reasoning_strength="low"
).to(model.device)
input_len = inputs["input_ids"].shape[-1]


outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
print(response)

Подавання моделі зображень і тексту в запиті

Для роботи із зображеннями та текстом нам знадобиться torchvision.

pip install torchvision

Muse Glimmer приймає зображення як вхідні дані, як показано тут:

messages = [
    {
        "role": "user", "content": [
            {"type": "image", "image": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/SF.png"},
            {"type": "text", "text": "What is shown in this image?"}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    reasoning_strength="low"
).to(model.device)
input_len = inputs["input_ids"].shape[-1]


outputs = model.generate(**inputs, max_new_tokens=512)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
print(response)

Мультимодальний виклик інструментів

Muse Glimmer уміє виконувати мультимодальні виклики інструментів — ось як це зробити. У наведеному нижче прикладі ми просимо модель викликати інструмент погоди на основі міста на зображенні.

import json
import re

tools = [
    {
        "type": "function",
        "function": {
            "name": "weather.get",
            "description": "Get the current weather for a city.",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {"type": "string"},
                },
                "required": ["city"],
            },
        },
    }
]


messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/SF.png"},
            {"type": "text", "text": "I'm going to the city in this picture. What clothes should I wear?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tools=tools,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    reasoning_strength="low"
).to(model.device)

input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=128)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

parsed = processor.tokenizer.parse_response(response)

Виявлення об’єктів

Ви можете використовувати Muse Glimmer для виявлення об’єктів на зображеннях у відкритому форматі:

import json

messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/SF.png"},
        {
            "type": "text",
            "text": (
                "Detect the bridge. Return only the detection in the model's "
                "native object-detection format, with no explanation."
            ),
        },
    ],
}]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)

input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=128)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

detections = json.loads(response.removesuffix("<|eot|>"))
print(detections)



xyxy = (
round(box["x_min"] / 1000 * width),
round(box["y_min"] / 1000 * height),
round(box["x_max"] / 1000 * width),
round(box["y_max"] / 1000 * height),
)

Інференс відео

Для роботи з відео рекомендуємо встановити torchcodec у середовище.

pip install torchcodec

Muse Glimmer може відповідати на складні запитання про відео без аудіо. Інференс відео можна виконувати так; ось приклад із VideoMME2 — найпопулярнішого бенчмарку для відповідей на запитання про відео.

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/IMG_8137.mp4"},
            {"type": "text", "text": "Describe what happens in this video."},
        ],
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    reasoning_strength="low",
    processor_kwargs={"num_frames": 96},
).to(model.device)

input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)

response = processor.decode(
    outputs[0, input_len:],
    skip_special_tokens=False,
)

parsed = processor.parse_response(
    response,
    prefix=inputs["input_ids"],
)
print(parsed)

Llama.cpp

Muse Glimmer із першого дня підтримує llama.cpp. Meta поширила калібровані квантизовані версії в цьому репозиторії, а Uunsloth також випускає оптимізовані квантизовані версії. Спекулятивне декодування DFlash також підтримується. Щоб запустити сервер llama або CLI, можна скористатися готовим бінарним файлом llama. Для встановлення llama.cpp виконайте:

curl -LsSf https://llama.app/install.sh | sh

Потім запустіть сервер так:

llama serve meta-models/Muse-Glimmer-30B-GGUF

Після запуску сервера відкрийте localhost:8080, щоб спілкуватися через вбудований WebUI.

TODO: Додати відео WebUI з цією моделлю

Ви також можете надсилати запити до сервера так:

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

Ви також можете використовувати llama server з агентами програмування, наприклад Pi.

Спекулятивне декодування

DFlash використовує полегшену модель-драфтер блокової дифузії, щоб забезпечити той самий результат із додатковим пришвидшенням на етапі декодування. Transformers і llama.cpp із першого дня підтримують драфтер DFlash для Muse Glimmer.

Нижче показано, як спекулятивне декодування може пришвидшити генерацію в реалістичних умовах. На відео ліворуч показано llama.cpp WebUI з DFlash, а праворуч — звичайну генерацію.

Спекулятивне декодування за допомогою transformers

Ви можете завантажити драфтер і модель так, як показано нижче, і виконувати інференс так само, як із базовою моделлю, додавши параметр (показано в наступних фрагментах).

import torch
from transformers import AutoProcessor, MuseGlimmerAssistantModel, MuseGlimmerForConditionalGeneration

model_id = "meta-models/Muse-Glimmer-30B"
target = MuseGlimmerForConditionalGeneration.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
assistant = MuseGlimmerAssistantModel.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)

messages = [
    {
        "role": "user", "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/merve/vl-test-suite/resolve/main/SF.png"},
            {"type": "text", "text": "What is shown in this image?"}
        ]
    }
]

out = target.generate(**inputs, assistant_model=assistant, speculation_type="dflash", max_new_tokens=64, do_sample=True)
print(processor.batch_decode(out)[0])

Спекулятивне декодування за допомогою llama.cpp

Ви можете запустити llama server за допомогою наведеної нижче команди. Аргумент --spec-draft-n-max визначає, скільки майбутніх токенів DFlash пропонує на кожному кроці спекулятивного декодування. Модель DFlash для Muse Glimmer навчалася з розміром блоку 16: один якірний токен і 15 запропонованих токенів, тому будь-яке значення понад 15 буде обмежено 15.

llama serve -hf meta-models/Muse-Glimmer-30B-GGUF --spec-type draft-dflash --spec-draft-n-max 15

Ви також можете використовувати llama cli із драфтером спекулятивного декодування:

llama cli -hf meta-models/Muse-Glimmer-30B-GGUF --spec-type draft-dflash

Підтримка Muse Glimmer у vLLM із бекендом transformers

У цьому релізі ми додаємо підтримку vLLM із бекендом transformers.

vllm serve meta-models/Muse-Glimmer-30B --model-impl transformers --tensor-parallel-size 4


curl -s http://127.0.0.1:8000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{
      "model": "meta-models/Muse-Glimmer-30B",
      "messages": [
        {"role": "user", "content": "Explain tensor parallelism briefly."}
      ],
      "temperature": 0.0,
      "max_tokens": 256
    }'

Дообучення за допомогою TRL

Ви можете використовувати TRL для дообучення Muse Glimmer різними методами — від SFT до Async GRPO. Ми провели два експерименти у форматі bf16 на графічних процесорах класу Hopper із 80 ГБ відеопам’яті кожен.

У межах цього релізу ми додаємо приклад дообучення Muse Glimmer на невеликій частині набору даних MolmoWeb. Він показує, як змусити модель генерувати структуровані вихідні дані та як донавчати її на зображеннях.

Ми також експериментували із запуском моделі в OpenCode із прикладом AsyncGRPO. Модель демонструє сильні можливості програмування, тому радимо спробувати навчання в середовищах програмування за допомогою OpenEnv і TRL.

Демонстрації

Ось кілька цікавих способів випробувати Muse Glimmer. На нашу думку, найкрутіше в цій моделі те, що це локальний персональний помічник, здатний програмувати. Тобто ви можете доручити йому квантизувати себе, знаходити квантизовані ваги на Hub, розгортати себе в inference endpoints і навіть оптимізувати себе для конкретного обладнання! Уперед, локальні моделі 🚀

Підключення OpenClaw до Muse Glimmer

Припустімо, що Inference Endpoint надає сумісний з OpenAI API /v1.

Установіть HF_TOKEN у середовищі шлюзу OpenClaw, а потім додайте це до ~/.openclaw/openclaw.json:

Конфігурація OpenClaw

{
  models: {
    mode: "merge",
    providers: {
      muse: {
        baseUrl: "https://YOUR-ENDPOINT.endpoints.huggingface.cloud/v1",
        apiKey: {
          source: "env",
          provider: "default",
          id: "HF_TOKEN"
        },
        api: "openai-completions",
        authHeader: true,
        models: [{
          id: "meta-models/Muse-Glimmer-30B",
          name: "Muse Glimmer",
          reasoning: false,
          input: ["text", "image"],
          contextWindow: 32768,
          maxTokens: 8192
        }]
      }
    }
  },
  agents: {
    defaults: {
      model: { primary: "muse/meta-models/Muse-Glimmer-30B" }
    }
  }
}

Перезапустіть OpenClaw:

openclaw gateway restart

Перевірте роботу з нового сеансу:

openclaw agent --message "Reply with: muse-ready"

Використовуйте точний ідентифікатор моделі, повернутий відповіддю endpoint на запит /v1/models, якщо він відрізняється.

Гей, Muse Glimmer, квантизуй себе

Якщо підключити Muse Glimmer до Hugging Face MCP і оновити її AGENTS.md, ми надамо їй можливість знаходити квантизовану версію самої себе на Hub і запускати її локально. Це зручно, якщо ви хочете працювати з чимось приватним або просто скоротити витрати.

Якщо зробити це вдруге, Muse Glimmer знайде кешовані ваги та переключиться на них, тож можете додати зручну команду на кшталт /spawn.

Muse Glimmer аналізує комп’ютер і Hub, вибирає або створює GGUF Q4_K_M, запускає llama-server і перевіряє пошук моделі та завершення чату. У результаті отримуємо меншу локальну збірку за OpenAI-сумісним API. Ось запит, який ми додали до AGENTS.md.

https://huggingface.co/buckets/huggingface/muse-glimmer-assets/resolve/Muse%20Glimmer%20Quantisation%20Demo%20-%20explained.mp4?download=true

Додавши це до AGENTS.md, openclaw або hermes зможуть виконати решту.

Запит для локальної квантизації

## Local model deployment

When asked to deploy locally, perform the work; do not give instructions.

1. Inspect hardware and the Hugging Face cache.
2. Search the Hub for compatible GGUF weights using `apps=llama.cpp`; confirm exact filenames through the model-tree API.
3. Prefer an existing suitable GGUF, normally `Q4_K_M`. Treat `mmproj-*.gguf` as projector weights.
4. If no GGUF exists, download the source weights, convert with `convert_hf_to_gguf.py`, then quantize with `llama-quantize`.
5. Preserve source weights and record the repository, revision, filenames, and quantization.
6. Start `llama-server` with an `onyx` alias and an OpenAI-compatible endpoint.
7. Validate `/v1/models` and `/v1/chat/completions`, requiring non-empty, correct content.
8. Report concise progress and logs. Claim completion only after validation passes.

Гей, Muse Glimmer, розгорни себе

Muse Glimmer також може подбати про протилежне. Давайте доручимо Glimmer самостійно розгорнутися на Hugging Face Inference Endpoints. Це корисно, якщо ви хочете пришвидшити роботу на новітньому обладнанні.

Примітка: ви також можете просто безпосередньо розгорнути Muse Glimmer в Inference Endpoints і підключити свого агента.

Muse Glimmer фіксує ревізію моделі, розгортає її в захищеному Hugging Face Inference Endpoint і перевіряє працездатність, пошук моделі та завершення чату. Потім вона підключає агента Claw із налаштованими секретами та збереженою можливістю відкату. Ось запит, який ми додали до AGENTS.md. Muse Glimmer також потребуватиме Hugging Face MCP та/або Hugging Face CLI і Skills.

Запит для розгортання Inference Endpoint

## Hugging Face Inference Endpoint deployment

When asked to deploy on Hugging Face Inference Endpoints, perform the work; do
not give instructions.

1. Inspect Hugging Face authentication, the current model repository, and any
   existing endpoints.
2. Confirm the exact model repository and immutable revision through the Hub
   API; inspect its architecture, configuration, and chat template.
3. Confirm that the model is supported by vLLM, then deploy or update a
   protected Inference Endpoint using the managed native vLLM engine.
4. Choose an available region and the smallest suitable accelerator. Use one
   replica and enable scale-to-zero when supported.
5. Preserve the previous endpoint configuration for rollback. Do not expose
   tokens, publish private weights, or replace an unrelated endpoint.
6. Wait for the endpoint to become ready. If startup fails, inspect the logs
   and report the actual blocker rather than repeatedly changing settings.
7. Validate `/health`, `/v1/models`, and `/v1/chat/completions`, requiring the
   expected model and non-empty, correct content. When agent use is required,
   also validate a real structured tool call.
8. Configure the Claw agent to use the endpoint's OpenAI-compatible `/v1` URL,
   storing credentials as secrets and retaining the previous provider as
   rollback. Test the connection in a fresh session.
9. Report concise progress and finish with the repository, revision, engine,
   hardware, endpoint URL, scaling state, and validation results. Claim
   completion only after every required check passes.

Гей, Muse Glimmer, оптимізуй себе

Нарешті, давайте доручимо Muse Glimmer виконати легку RSI. Ми можемо попросити нашого агента оптимізувати власний рушій інференсу для конкретного обладнання — у цьому випадку Nvidia H100. Для цього агенту знадобиться інший рушій інференсу, наприклад Inference Endpoints вище.

Muse Glimmer тестує власний стек обслуговування на одному H100, перевіряючи по одній оборотній зміні за раз і зберігаючи робоче навантаження незмінним. Вона залишає лише прирости, що проходять перевірку коректності, і завершує роботу з найшвидшою конфігурацією, яку можна відтворити. Ось запит, який ми додали до AGENTS.md. Muse Glimmer також потребує Hugging Face MCP і Hugging Face CLI та Skills.

Запит для самооптимізації

You are Muse Glimmer acting as an autonomous inference-optimization engineer for your own serving stack.

Goal: maximize valid single-H100 aggregate completion throughput in tokens/second.

Protocol:
1. Establish a correctness-passing baseline.
2. Test one reversible optimization at a time.
3. Keep the prompt, concurrency, sampling, request count, warm-up, and decode length fixed.
4. Reject results that fail correctness or prefix checks.
5. Record every experiment chronologically with its configuration, raw throughput, correctness, and delta.
6. Keep improvements and revert regressions.
7. Stop after six consecutive regressions or when the experiment budget is exhausted.
8. Report the best valid configuration and exact reproduction command.

Create a minimal scientific animation of the results:
- white background;
- raw tokens/second—never normalize;
- one point revealed per experiment;
- connect every point chronologically;
- begin with the lowest valid result;
- stop at the best result;
- export as a GIF.

Never fabricate, interpolate, or count correctness-failing measurements.

https://huggingface.co/buckets/huggingface/muse-glimmer-assets/resolve/onyx-optimization-progress.gif?download=true

Гей, Muse Glimmer, досліди Hub

Спробуйте Muse Glimmer як дослідницького агента Hugging Face. Gradio Space надсилає кожен запит до приватного Hugging Face Inference Endpoint через його OpenAI-сумісний API. Він також підключається до офіційного сервера Hugging Face MCP, надаючи агенту інструменти лише для читання, щоб шукати й переглядати репозиторії Hub, моделі, набори даних, Spaces, документацію та статті.

Підсумок

Ми раді вітати Muse Glimmer на Hugging Face Hub. Спробуйте Muse Glimmer у своїх локальних середовищах програмування вже сьогодні!

Підтримати

5

• 
• 
• 
• 
• 

Моделі, згадані в цій статті 3

Статті, згадані в цій статті 1