Ласкаво просимо, Le Chonk: Mistral Large 4 на Hugging Face

Назад до статей

Зустрічайте Le Chonk: Mistral Large 4 на Hugging Face

Опубліковано 29 жовтня 2026 року

Оновити на GitHub

Підтримати

Enrique Hernández Calabrés

Aritra Roy Gosthipaty

ariG23498

Mistral Large 4 (він же Le Chonk) — мультимодальна, багатомовна модель Mistral на основі суміші експертів (MoE). Вона приймає на вході текст і зображення та генерує текст. Вона має близько 1 трлн загальних і 49 млрд активних параметрів, а також контекстне вікно на 1 млн токенів.

Модель випущено у двох офіційних варіантах:

FP8
NVFP4

Також доступні GGUF-версії, створені командою Unsloth і командою llama.cpp. Модель поширюється за ліцензією Mistral Ecosystem Open-Weight License (похідною від MIT, яка встановлює обмеження для пропозицій «модель як послуга»).

Mistral Large 4 особливо добре працює у сфері кібербезпеки, програмних агентів і мультимодальності. У цьому дописі ми розглянемо принцип роботи моделі, її можливості, архітектуру та багато іншого!

Зміст

"Зустрічайте Le Chonk: Mistral Large 4 на Hugging Face"
- Зміст
- Що нового в Mistral Large 4
  - Можливості у сфері кібербезпеки
- Архітектура
  - Візуальний енкодер
- Результати тестування
- Підтримка інференсу
  - Transformers
  - vLLM
  - Llama.cpp
- Дообучення за допомогою TRL
- Inference Endpoints
- Dell Enterprise Hub
- Спробуйте

Що нового в Mistral Large 4

Mistral Large 4 поєднує великий набір експертів із розрідженою увагою та візуальним енкодером Pixtral. Мовна модель обирає невелику групу експертів для кожного токена, тоді як індексатор уваги визначає, до яких попередніх позицій токенів звертатися. Це дві різні форми розрідженості: одна обирає нейронні мережі прямого поширення, інша — позиції контексту.

Усі контрольні точки можна знайти в колекції Mistral Large 4.

Можливості у сфері кібербезпеки

Mistral Large 4 набирає 82% у тесті Artificial Analysis Cyber Index, де модель має відтворити реальну вразливість у програмному забезпеченні з відкритим кодом, а потім виправити її. Mistral повідомляє, що кілька закритих передових моделей набирають майже нуль балів у тому самому тесті, оскільки відмовляються виконувати завдання. Це надзвичайно важливо для фахівців із захисту, адже виправлення вразливості зазвичай потребує її відтворення. Під час внутрішнього тестування Mistral Mistral Large 4 також виявилася корисною для аналізу шкідливого програмного забезпечення, визначення пріоритетності вразливостей і написання правил виявлення, хоча модель не навчали спеціально для цих завдань.

Mistral переважно позиціонує модель для захисної роботи у сфері безпеки. Дослідження вразливостей і реагування на інциденти часто виглядають як атаки у вхідних даних моделі, тому фільтри закритих джерел можуть їх блокувати. Команда, яка залежить від API, також може втратити доступ посеред інциденту. Важливо, що моделі з відкритими вагами передають користувачеві контроль і над політикою використання, і над розгортанням. Водночас модель усе ще відмовляється від шкідливих запитів: для кіберзапитів із JailbreakBench, StrongREJECT та AgentHarm її середній показник відмов вищий, ніж у будь-якої іншої моделі з відкритими вагами.

Для розробників спільноти модель із відкритими вагами, як-от Mistral Large 4, відкриває безліч подальших варіантів використання. Ви можете побудувати власну кіберсистему на основі вашої кодової бази, журналів збоїв і зразків шкідливого ПЗ. Наприклад, за допомогою TRL можна дообучити менші моделі на трасуваннях Mistral Large 4, яка виправляє вашу кодову базу. Насправді завдання «відтворити, а потім виправити» використовують перевірювану винагороду, тому вони сумісні із середовищами RL, які можна застосувати для подальшого RL-навчання менших моделей безпеки. Відкриті ваги також дають дослідникам змогу безпосередньо вимірювати поведінку моделі щодо відмов, а не покладатися на опис провайдера.

Коротко кажучи, відкритий доступ до таких кіберможливостей ML4 є величезним поштовхом для спільноти.

Ми поговорили з Pierre Stock про кіберможливості моделі — переглянути відео можна тут.

Архітектура

Текстовий декодер Mistral Large 4 має 72 шари, приховану розмірність 6 144 та 64 голови уваги. Його блоки уваги поєднують багатоголову латентну увагу (MLA) з індексатором розрідженої уваги DeepSeek (DSA) — напрямом, який використовується в інших моделях, як-от GLM 5.3. MLA зберігає стиснене представлення KV, а DSA обирає до 2 048 ключових позицій для кожного запиту.

Для кожного блоку декодера використовується співвідношення RoPE до NoPE 3:1: тобто 3 шари декодера застосовують RoPE, а кожен четвертий шар — NoPE. Модель також спільно використовує стан KV між шарами.
Перший шар декодера використовує щільну нейронну мережу прямого поширення. Інші 71 шар використовують блоки MoE, у яких маршрутизатор softmax обирає чотирьох із 128 експертів для кожного токена. Один спільний експерт завжди працює разом з обраними експертами, тож загалом для кожного токена активні 5 експертів.

Щодо RoPE, Mistral використовує LeRope — RoPE із масштабуванням YaRN та одним навченим множником на кожну частоту.

Візуальний енкодер

Mistral Large 4 використовує енкодер Pixtral на 1,6 млрд параметрів. Pixtral має 30 шарів, приховану розмірність 2 048 і 16 голів уваги. Він використовує патчі розміром 14 × 14 і проєктор об’єднання патчів із просторовим розміром об’єднання 2. Нижче можна побачити конвеєр енкодера.

Результати тестування

Mistral Large 4 демонструє високі результати в тестах із програмування, кібербезпеки, мультимодального розуміння та агентних робочих процесів, що робить її конкурентним доповненням до екосистеми відкритих ваг. Станом на 29 жовтня 2026 року модель посідає п’яте місце серед найкращих моделей із відкритими вагами в індексі Artificial Analysis Intelligence.

У програмуванні ML4 досягає 61,7% у DeepSWE v1.1, 59,4% у SWE-Atlas-QnA та 28,3% у Terminal-Bench 4. Її сукупний показник Coding Agent Index 49,8% ставить її вище за DeepSeek V4 Pro 0813 і Qwen3.8 Max.

Можливості ML4 у програмуванні поширюються і на інтелектуальну роботу: 59,9% в AutomationBench та 1 393 Elo в AA-Briefcase, які оцінюють бізнес-процеси й професійні завдання з довгим горизонтом.

Кібербезпека — одна з найвизначніших можливостей Mistral Large 4, із високими результатами в оцінюванні реальних вразливостей і завданнях із безпекових змагань. Три тести підкреслюють кіберпродуктивність моделі:

Artificial Analysis Cyber Index: ML4 входить до п’ятірки найкращих моделей у світі в незалежному оцінюванні здатності моделей знаходити й виправляти вразливості програмного забезпечення.
Відтворення та виправлення вразливостей: модель досягає 82% — найвищого показника, зафіксованого в цьому тесті в межах індексу. Завдання вимагає відтворити реальну вразливість у програмному забезпеченні з відкритим кодом, а потім виправити її, перевіряючи як дослідження, так і усунення проблеми.
Cybench: ML4 розв’язує 93% із набору 40 завдань, взятих із безпекових змагань, демонструючи високі результати у практичних завданнях із безпеки.

Mistral Large 4 також демонструє 93,3% стійкості до атак у тесті B3 від Lakera, що додатково підтверджує її надійність проти атак через ін’єкції підказок. Окрім тестів, внутрішнє оцінювання показало перспективні результати в аналізі шкідливого ПЗ, визначенні пріоритетності вразливостей і генерації правил виявлення.

Підтримка інференсу

Mistral Large 4 із першого дня підтримує transformers, vLLM і llama.cpp. GGUF-кванти доступні від GGUF і команди llama.cpp. Ми пропонуємо варіанти віддаленого розгортання за допомогою Inference Endpoints, а також безсерверний інференс через Inference Providers.

Transformers

Реалізація Transformers надає AutoModelForMultimodalLM, а AutoProcessor готує діалог і зображення на вході. Mistral Large 4 може використовувати low, medium і high як рівні зусиль міркування. За замовчуванням використовується high; зверніть увагу, що міркування неможливо вимкнути, тому reasoning_effort: none все одно використовуватиме high.

Щоб запустити модель, оновіть пакет transformers

pip install --upgrade transformers

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)


text_messages = [
    {
        "role": "user",
        "content": "Who are you?"
    }
]


multimodal_messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
            },
            {
                "type": "text",
                "text": "How many cats are in the image?",
            },
        ],
    },
]

for messages in [text_messages, multimodal_messages]:
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
        reasoning_effort="medium",
    ).to(model.device).to(model.dtype)
    input_len = inputs["input_ids"].shape[-1]

    outputs = model.generate(**inputs, max_new_tokens=100)
    if int(os.environ["RANK"]) == 0:
        print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

Запустити наведений вище скрипт можна, зберігши його у файлі Python script.py, а потім виконавши команду

torchrun --nproc-per-node 8 script.py

vLLM

vLLM підтримує високоякісну контрольну точку Mistral Large 4 у форматі NVFP4, яка має менший обсяг пам’яті й потребує графічних процесорів NVIDIA Blackwell. Модель також постачається з декодером DSpark для додаткового прискорення у vLLM. Запустіть сервер так:

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --config-format mistral \
  --load-format mistral \
  --tensor-parallel-size 8 \
  --decode-context-parallel-size 8 \
  --enable-expert-parallel \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enforce-eager \
  --mm_processor_cache_gb 0.0

Після запуску сервера можна виконати таку команду.

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'

Llama.cpp

Llama.cpp і Llama App уже підтримують Mistral Large 4.

Встановити Llama App можна такою командою:

curl -LsSf https://llama.app/install.sh | sh

Після цього можна запустити сервер, указавши суфікс квантування після ідентифікатора моделі:

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

Ось репозиторій із квантами, отриманими з контрольної точки FP8, а ось варіант NVFP4, конвертований з офіційного репозиторію NVFP4.

Після запуску сервера перейдіть на localhost:9931, щоб спілкуватися через вбудований WebUI. У вебінтерфейсі можна додавати зображення для інференсу та змінювати рівень міркування.
Також можна надсилати запити до сервера так. Щоб дізнатися більше про мультимодальність, виклики інструментів та інші можливості, перегляньте довідник API.

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

Інференс за зображенням і текстом можна запускати так.

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
        "model": "muse-spark-open",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "What is in this image?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "data:image/png;base64,..."
                        }
                    }
                ]
            }
        ],
        "temperature": 0
    }'

Команда llama.cpp постачає такі кванти: IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0 і BF16 для подальших конвертацій. Двобітні кванти працюють на одному комп’ютері Apple Silicon Ultra із 512 ГБ уніфікованої оперативної пам’яті. Для інших потрібен розподілений інференс. Також можна використовувати кілька карт NVIDIA або AMD.

Під час запуску Q2_K на одному M3 Ultra ми отримали пропускну здатність попереднього заповнення близько 90 токенів за секунду та швидкість генерації 15 токенів/с. На 4 × RTX6000 Pro ми спостерігали такі результати:

NVFP4: контекст розміром 32 тис., попереднє заповнення 130–590 т/с, швидкість генерації приблизно 10 т/с
IQ2_XXS: контекст розміром 800 тис. За короткого контексту попереднє заповнення становить 500 токенів/с, а генерація працює зі швидкістю 30 токенів/с. Однак за використання довгих контекстів продуктивність знижується до 129 токенів/с (попереднє заповнення) і 3 токенів/с (генерація).

Дообучення за допомогою TRL

Ми також із першого дня підтримуємо дообучення Mistral Large 4 за допомогою TRL. Потрібно лише оновити до найновіших версій transformers, trl і peft.

pip install --upgrade transformers trl peft

У наведеному нижче прикладі ми навчаємо модель виконувати багатомовне міркування. Дообучена модель зможе міркувати мовою, яку вказує системна підказка!

Скрипт запускається на варіанті FP8 на вузлі з 8 × B300.


import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")

dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

Inference Endpoints

Mistral Large 4 також доступна в Inference Endpoints із готовим до розгортання рецептом для 8 графічних процесорів NVIDIA H200. Рецепт запускає vLLM із вагами FP8, розподіленими між усіма вісьмома GPU за допомогою тензорного та експертного паралелізму, і використовує вбудовану чернеткову голову DSpark для швидшої генерації через спекулятивне декодування. Він обслуговує контекст до 131 тис. токенів і обробляє до 16 запитів одночасно. Ми отримали такі результати:

Один запит: час до першого токена близько 0,6 секунди для підказки на 1 тис. токенів і швидкість генерації приблизно 65 токенів/с, яка досягає 120–138 токенів/с у чат-підказках, де приймаються чернетки DSpark.
Довгі підказки: підказки на 16 тис. токенів, по чотири одночасно, обробляються зі швидкістю попереднього заповнення близько 4 300 токенів/с загалом, а час до першого токена становить 8–9 секунд.
Під навантаженням: близько 480 токенів/с загальної генерації для 1 000 розмов ShareGPT.

Розгорнути модель можна за допомогою CLI hf:

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

Після запуску кінцевої точки можна надсилати запити до її сумісного з OpenAI API, використовуючи URL кінцевої точки та свій токен Hugging Face. Поле reasoning_effort визначає, скільки модель міркує перед відповіддю, і може мати значення low, medium або high (за замовчуванням).

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Large-4-1T-A52B",
        "messages": [
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ],
        "reasoning_effort": "medium"
    }'

Відповідь повертається в choices[0].message.content, а міркування — у choices[0].message.reasoning. Кінцева точка також підтримує виклики інструментів, структуровані вихідні дані, вхідні зображення та потокову передачу через стандартні поля Chat Completions.

Dell Enterprise Hub

Найпростіший спосіб почати роботу з вашими серверами Dell AI (NVIDIA H200, B200, GB200 або GB300) — встановити CLI dell-ai:

pip install dell-ai && dell-ai login

Після цього використайте його для запуску оптимізованого рецепта Mistral Large 4, наприклад, на вузлі NVIDIA B300.

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

Докладніше про цей випуск можна дізнатися в Dell Enterprise Hub (DEH).

Спробуйте

Завантажте ваги з колекції Mistral Large 4, запустіть їх локально за допомогою GGUF-версій або розгорніть їх за допомогою Inference Endpoints. Нам не терпиться побачити, що ви створите з Le Chonk. Діліться своїми дообученими моделями, квантами та іншими артефактами на Hub!