Добро пожаловать, Le Chonk: Mistral Large 4 на Hugging Face

Вернуться к статьям

Опубликовано 29 октября 2026 года

Обновить на GitHub

Проголосовать

Enrique Hernández Calabrés

Aritra Roy Gosthipaty

ariG23498

Mistral Large 4 (также известная как Le Chonk) — мультимодальная многоязычная модель Mistral на основе смеси экспертов (MoE). Она принимает на вход текст и изображения, а генерирует текст. Она содержит около 1 трлн общих и 49 млрд активных параметров, а размер контекстного окна составляет 1 млн токенов.

Модель выпущена в двух официальных вариантах:

FP8
NVFP4

Также доступны GGUF-версии, созданные командами Unsloth и llama.cpp. Модель распространяется по лицензии Mistral Ecosystem Open-Weight License — производной от MIT-лицензии, устанавливающей ограничения для предложений «модель как сервис».

Mistral Large 4 особенно хорошо показывает себя в кибербезопасности, кодирующих агентах и мультимодальности. В этой статье мы рассмотрим принцип работы модели, её возможности, архитектуру и многое другое!

Содержание

«Добро пожаловать, Le Chonk: Mistral Large 4 на Hugging Face»
- Содержание
- Что нового в Mistral Large 4
  - Возможности в области кибербезопасности
- Архитектура
  - Визуальный кодировщик
- Результаты тестирования
- Поддержка инференса
  - Transformers
  - vLLM
  - Llama.cpp
- Дообучение с TRL
- Inference Endpoints
- Dell Enterprise Hub
- Попробуйте сами

Что нового в Mistral Large 4

Mistral Large 4 сочетает большое число экспертов с разреженным вниманием и визуальным кодировщиком Pixtral. Языковая модель выбирает небольшую группу экспертов для каждого токена, а индексатор внимания выбирает позиции предыдущих токенов, на которые следует обратить внимание. Это две разные формы разреженности: одна выбирает сети прямого распространения, а другая — позиции контекста.

Все контрольные точки можно найти в коллекции Mistral Large 4.

Возможности в области кибербезопасности

Mistral Large 4 набирает 82% в тесте Artificial Analysis Cyber Index, где модели предлагается воспроизвести реальную уязвимость в программном обеспечении с открытым исходным кодом, а затем устранить её. Mistral сообщает, что несколько закрытых передовых моделей набирают почти ноль в этом же тесте, поскольку отказываются выполнять задачу. Это чрезвычайно важно для специалистов по защите, потому что исправление уязвимости обычно требует её воспроизведения. Во внутренних тестах Mistral Mistral Large 4 также оказалась полезной для анализа вредоносных программ, приоритизации уязвимостей и написания правил обнаружения, хотя специально для этого модель не обучалась.

Mistral в основном позиционирует модель для защитных задач в сфере безопасности. Исследование уязвимостей и реагирование на инциденты часто выглядят как атаки во входных данных модели, поэтому фильтры закрытых исходных моделей могут их блокировать. Команда, зависящая от API, также может потерять доступ в разгар инцидента. Что особенно важно, модели с открытыми весами позволяют пользователю контролировать и политику использования, и развёртывание. При этом модель по-прежнему отклоняет вредоносные запросы: на кибернетические запросы из JailbreakBench, StrongREJECT и AgentHarm её средний показатель отказов выше, чем у любой другой модели с открытыми весами.

Для разработчиков сообщества модель с открытыми весами, такая как Mistral Large 4, открывает множество вариантов дальнейшего использования. Можно создать собственную систему кибербезопасности на основе кодовой базы, журналов сбоев и образцов вредоносных программ. Например, с помощью TRL можно дообучить небольшие модели на трассировках исправления кодовой базы, созданных Mistral Large 4. Более того, задачи «воспроизвести, а затем исправить» используют проверяемое вознаграждение, поэтому они подходят для сред RL, которые можно применять для дальнейшего обучения небольших моделей безопасности с помощью RL. Открытые веса также позволяют исследователям напрямую измерять поведение модели при отказах, а не полагаться на описание поставщика.

Короче говоря, открытые возможности ML4 в сфере кибербезопасности — огромный шаг вперёд для сообщества.

Мы поговорили с Пьером Стоком о возможностях модели в сфере кибербезопасности — посмотреть интервью можно здесь.

Архитектура

Текстовый декодировщик Mistral Large 4 содержит 72 слоя, имеет скрытую размерность 6144 и 64 головы внимания. Блоки внимания объединяют многоголовое латентное внимание (MLA) с индексатором разреженного внимания DeepSeek (DSA) — направлением, используемым и в других моделях, например GLM 5.3. MLA хранит сжатое представление KV, а DSA выбирает до 2048 ключевых позиций для каждого запроса.

Для каждого блока декодировщика используется соотношение RoPE к NoPE 3:1: то есть 3 слоя декодировщика применяют RoPE, а каждый четвёртый слой — NoPE. Модель также использует общее состояние KV для нескольких слоёв.
Первый слой декодировщика использует плотную сеть прямого распространения. Остальные 71 слой используют блоки MoE, в которых маршрутизатор softmax выбирает 4 из 128 экспертов для каждого токена. Один общий эксперт всегда работает вместе с выбранными экспертами, поэтому для каждого токена активны всего 5 экспертов.

Для RoPE Mistral использует LeRope — RoPE с масштабированием YaRN и одним обучаемым множителем на каждую частоту.

Визуальный кодировщик

Mistral Large 4 использует кодировщик Pixtral на 1,6 млрд параметров. Pixtral имеет 30 слоёв, скрытую размерность 2048 и 16 голов внимания. Он использует патчи размером 14 × 14 и проектор объединения патчей с пространственным размером объединения 2. Ниже показан конвейер кодировщика.

Результаты тестирования

Mistral Large 4 демонстрирует высокие результаты в тестах по программированию, кибербезопасности, мультимодальному пониманию и агентным рабочим процессам, что делает её конкурентоспособным дополнением к экосистеме моделей с открытыми весами. По состоянию на 29 октября 2026 года модель занимает пятое место среди лучших моделей с открытыми весами в индексе Artificial Analysis Intelligence.

В задачах программирования ML4 набирает 61,7% в DeepSWE v1.1, 59,4% в SWE-Atlas-QnA и 28,3% в Terminal-Bench 4. Её совокупный результат Coding Agent Index в 49,8% позволяет ей опередить DeepSeek V4 Pro 0813 и Qwen3.8 Max.

Возможности ML4 в программировании распространяются и на интеллектуальную работу: модель набирает 59,9% в AutomationBench и 1393 Elo в AA-Briefcase, оценивающих бизнес-процессы и профессиональные задачи с длинным горизонтом планирования.

Кибербезопасность — одна из наиболее выдающихся возможностей Mistral Large 4. Модель демонстрирует высокие результаты в оценке реальных уязвимостей и задачах соревнований по безопасности. Возможности модели в сфере кибербезопасности подчёркивают три теста:

Artificial Analysis Cyber Index: ML4 входит в число пяти лучших моделей в мире по результатам независимой оценки способности моделей находить и устранять уязвимости программного обеспечения.
Воспроизведение и исправление уязвимостей: модель достигает 82% — это самый высокий опубликованный результат в этом тесте среди моделей индекса. Задача требует воспроизвести реальную уязвимость в ПО с открытым исходным кодом, а затем исправить её, проверяя как исследование, так и устранение проблемы.
Cybench: ML4 решает 93% набора из 40 задач, взятых из соревнований по безопасности, демонстрируя высокую эффективность в практических задачах безопасности.

Mistral Large 4 также демонстрирует 93,3% устойчивости к атакам в тесте B3 от Lakera, что дополнительно подтверждает её устойчивость к атакам с внедрением запросов. Помимо результатов тестов, внутреннее тестирование показало многообещающие результаты в анализе вредоносных программ, приоритизации уязвимостей и создании правил обнаружения.

Поддержка инференса

Mistral Large 4 с первого дня поддерживает transformers, vLLM и llama.cpp. Квантизованные версии GGUF доступны у команды llama.cpp. Мы предлагаем варианты удалённого развёртывания с помощью Inference Endpoints и бессерверного инференса через Inference Providers.

Transformers

Реализация Transformers предоставляет AutoModelForMultimodalLM, а AutoProcessor подготавливает диалог и изображения. Mistral Large 4 может принимать значения low, medium и high для уровня рассуждений. По умолчанию используется high; обратите внимание, что рассуждения нельзя отключить, поэтому значение reasoning_effort: none всё равно будет использовать high.

Чтобы запустить модель, обновите пакет transformers

pip install --upgrade transformers

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)


text_messages = [
    {
        "role": "user",
        "content": "Who are you?"
    }
]


multimodal_messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
            },
            {
                "type": "text",
                "text": "How many cats are in the image?",
            },
        ],
    },
]

for messages in [text_messages, multimodal_messages]:
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
        reasoning_effort="medium",
    ).to(model.device).to(model.dtype)
    input_len = inputs["input_ids"].shape[-1]

    outputs = model.generate(**inputs, max_new_tokens=100)
    if int(os.environ["RANK"]) == 0:
        print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

Запустить приведённый выше скрипт можно, сохранив его в файл Python script.py, а затем выполнив команду

torchrun --nproc-per-node 8 script.py

vLLM

vLLM поддерживает высококачественную контрольную точку NVFP4 Mistral Large 4, которая занимает меньше памяти и требует графических процессоров NVIDIA Blackwell. Модель также поставляется с декодером DSpark для дополнительного ускорения в vLLM. Запустите сервер следующим образом:

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --config-format mistral \
  --load-format mistral \
  --tensor-parallel-size 8 \
  --decode-context-parallel-size 8 \
  --enable-expert-parallel \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enforce-eager \
  --mm_processor_cache_gb 0.0

После запуска сервера можно выполнить следующую команду.

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'

Llama.cpp

Llama.cpp и Llama App уже поддерживают Mistral Large 4.

Установить Llama App можно следующей командой:

curl -LsSf https://llama.app/install.sh | sh

Затем можно запустить сервер следующим образом, указав суффикс квантизации после идентификатора модели:

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

Вот репозиторий с квантами, полученными из контрольной точки FP8, а здесь находится версия NVFP4, преобразованная из официального репозитория NVFP4.

После запуска сервера можно перейти на localhost:9931 и общаться с моделью через встроенный веб-интерфейс. В веб-интерфейсе можно добавлять изображения для инференса и настраивать уровень рассуждений.
Также можно обращаться к серверу следующим образом. Дополнительную информацию о мультимодальности, вызовах инструментов и других возможностях можно найти в справочнике API.

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

Инференс по изображениям и тексту можно выполнять следующим образом.

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
        "model": "muse-spark-open",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "What is in this image?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "data:image/png;base64,..."
                        }
                    }
                ]
            }
        ],
        "temperature": 0
    }'

Команда llama.cpp предоставляет следующие кванты: IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0 и BF16 для дальнейших преобразований. Двухбитные кванты работают на одном компьютере Apple Silicon Ultra с 512 ГБ объединённой оперативной памяти. Для остальных требуется распределённый инференс. Также можно использовать несколько карт NVIDIA или AMD.

При запуске Q2_K на одном M3 Ultra мы получили скорость предварительной обработки около 90 токенов в секунду и скорость генерации 15 токенов/с. На 4 × RTX6000 Pro мы наблюдали следующие результаты:

NVFP4: размер контекста 32K, предварительная обработка 130–590 т/с, скорость генерации около 10 т/с
IQ2_XXS: размер контекста 800K. При коротком контексте предварительная обработка выполняется со скоростью 500 токенов/с, а генерация — 30 токенов/с. Однако при использовании длинных контекстов производительность снижается до 129 токенов/с для предварительной обработки и 3 токенов/с для генерации.

Дообучение с TRL

Мы также с первого дня поддерживаем дообучение Mistral Large 4 с помощью TRL. Достаточно обновить до последней версии пакеты transformers, trl и peft.

pip install --upgrade transformers trl peft

В следующем примере мы обучаем модель многоязычному рассуждению. Дообученная модель сможет рассуждать на языке, указанном в системном запросе!

Скрипт запускается на варианте FP8 на узле с 8 × B300.


import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")

dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

Inference Endpoints

Mistral Large 4 также доступна в Inference Endpoints с готовым к развёртыванию рецептом для 8 графических процессоров NVIDIA H200. Рецепт запускает vLLM с весами FP8, распределёнными между всеми восемью GPU с использованием тензорного и экспертного параллелизма, и использует встроенную черновую голову DSpark для ускорения генерации посредством спекулятивного декодирования. Она обслуживает контекст размером до 131K токенов и обрабатывает до 16 запросов одновременно; мы получили следующие результаты:

Один запрос: время до первого токена около 0,6 секунды для запроса размером 1K токенов и скорость генерации около 65 токенов/с, достигающая 120–138 токенов/с в чат-запросах, где черновые варианты DSpark принимаются.
Длинные запросы: запросы размером 16K токенов, по четыре одновременно, предварительно обрабатываются с общей скоростью около 4300 токенов/с, а время до первого токена составляет 8–9 секунд.
Под нагрузкой: общая скорость генерации около 480 токенов/с для 1000 разговоров ShareGPT.

Развернуть её можно с помощью CLI hf следующим образом:

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

После запуска конечной точки можно обращаться к её совместимому с OpenAI API, используя URL конечной точки и токен Hugging Face. Поле reasoning_effort управляет объёмом рассуждений модели перед ответом; ему можно задать значение low, medium или high (по умолчанию).

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Large-4-1T-A52B",
        "messages": [
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ],
        "reasoning_effort": "medium"
    }'

Ответ возвращается в choices[0].message.content, а рассуждения — в choices[0].message.reasoning. Конечная точка также поддерживает вызовы инструментов, структурированные выходные данные, изображения на входе и потоковую передачу через стандартные поля Chat Completions.

Dell Enterprise Hub

Самый простой способ начать работу с серверами Dell AI (NVIDIA H200, B200, GB200 или GB300) — установить CLI dell-ai:

pip install dell-ai && dell-ai login

Затем с его помощью можно запустить оптимизированный рецепт для Mistral Large 4, например, на узле NVIDIA B300.

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

Подробнее об этом выпуске можно узнать в Dell Enterprise Hub (DEH).

Попробуйте сами

Загрузите веса из коллекции Mistral Large 4, запустите их локально с помощью GGUF-версий или разверните с помощью Inference Endpoints. Нам не терпится увидеть, что вы создадите с Le Chonk. Делитесь своими дообученными моделями, квантами и другими артефактами на Hub!