Добре дошъл, Le Chonk: Mistral Large 4 в Hugging Face

Назад към статиите

Публикувано 29 октомври 2026 г.

Актуализация в GitHub

Гласувайте „за“

Enrique Hernández Calabrés

Aritra Roy Gosthipaty

ariG23498

Mistral Large 4 (известен още като Le Chonk) е мултимодален, многоезичен модел Mixture-of-Experts (MoE) от Mistral. Той приема текст и изображения като вход и генерира текст. Разполага с около 1 трилион общо и 49 милиарда активни параметъра, както и с контекстен прозорец от 1 милион токена.

Моделът се предлага в два официални варианта:

FP8
NVFP4

Има и GGUF версии, създадени от Unsloth и екипа на llama.cpp. Моделът се разпространява под лиценза Mistral Ecosystem Open-Weight License (производен на MIT, който въвежда ограничения за предложенията тип model-as-a-service).

Mistral Large 4 е особено силен в киберсигурността, кодиращите агенти и мултимодалността. В тази публикация разглеждаме как работи моделът, неговите възможности, архитектурата му и още много!

Съдържание

„Добре дошъл, Le Chonk: Mistral Large 4 в Hugging Face“
- Съдържание
- Какво е новото при Mistral Large 4
  - Възможности в киберсигурността
- Архитектура
  - Визуален енкодер
- Резултати от бенчмарковете
- Поддръжка за инференс
  - Transformers
  - vLLM
  - Llama.cpp
- Фино настройване с TRL
- Inference Endpoints
- Dell Enterprise Hub
- Изпробвайте го

Какво е новото при Mistral Large 4

Mistral Large 4 комбинира голям набор от експерти с разредено внимание и визуален енкодер Pixtral. Езиковият модел избира малка група експерти за всеки токен, докато индексаторът на вниманието избира към кои по-ранни позиции на токените да се насочи вниманието. Това са две различни форми на разреденост: едната избира мрежи с пряко подаване, а другата — позиции в контекста.

Всички чекпойнти можете да намерите в колекцията Mistral Large 4.

Възможности в киберсигурността

Mistral Large 4 постига 82% на теста Artificial Analysis Cyber Index, който изисква от модела да възпроизведе реална уязвимост в софтуер с отворен код и след това да я отстрани. Mistral съобщава, че няколко затворени водещи модела постигат почти нулев резултат на същия тест, защото отказват да опитат. Това е изключително важно за защитниците, тъй като отстраняването на уязвимост обикновено изисква нейното възпроизвеждане. При вътрешните тестове на Mistral Mistral Large 4 е бил полезен и за анализ на зловреден софтуер, приоритизиране на уязвимости и писане на правила за откриване — задачи, за които моделът не е бил изрично обучаван.

Mistral позиционира модела предимно за защитна работа в областта на сигурността. Изследването на уязвимости и реакцията при инциденти често изглеждат като атаки във входа към модела, поради което филтрите на затворените източници могат да ги блокират. Екип, който зависи от API, също може да загуби достъп по средата на инцидент. Отворените модели с достъпни тегла поставят както политиката за използване, така и внедряването под контрола на потребителя. Моделът все пак отказва вредни заявки: при киберподсказки от JailbreakBench, StrongREJECT и AgentHarm средният му процент на отказ е по-висок от този на всеки друг модел с отворени тегла.

За създателите от общността модел с отворени тегла като Mistral Large 4 отключва множество последващи приложения. Можете да изградите собствена киберсистема около кодовата си база, журналите от сривове и пробите от зловреден софтуер. Например с TRL можете да фино настроите по-малки модели въз основа на следи от Mistral Large 4, които коригират кодовата ви база. Всъщност задачите „възпроизвеждане и след това корекция“ използват проверима награда, така че са подходящи за среди за RL, които могат да се използват за допълнително обучение с RL на по-малки модели за сигурност. Отворените тегла също позволяват на изследователите да измерват директно поведението на модела при отказ, вместо да разчитат на описанието на доставчика.

Накратко, публично достъпните кибер възможности като тези на ML4 са огромен стимул за общността.

Интервюирахме Pierre Stock относно кибер възможностите на модела — можете да го гледате тук.

Архитектура

Текстовият декодер на Mistral Large 4 има 72 слоя, скрита размерност 6 144 и 64 глави за внимание. Блоковете му за внимание комбинират Multi-head Latent Attention (MLA) с индексатор DeepSeek Sparse Attention (DSA) — подход, използван и в други модели като GLM 5.3. MLA поддържа компресирано KV представяне, а DSA избира до 2 048 ключови позиции за всяка заявка.

За всеки блок на декодера има съотношение 3:1 RoPE към NoPE, т.е. 3 слоя на декодера използват RoPE, а всеки четвърти слой използва NoPE. Моделът също споделя KV състоянието между слоевете.
Първият слой на декодера използва плътна мрежа с пряко подаване. Останалите 71 слоя използват MoE блокове, в които маршрутизатор с softmax избира четири от 128-те експерти за всеки токен. Един споделен експерт винаги работи заедно с избраните експерти, което прави общо 5 активни експерта на токен.

Що се отнася до RoPE, Mistral използва LeRope — RoPE с мащабиране чрез YaRN и по един обучен множител за всяка честота.

Визуален енкодер

Mistral Large 4 използва енкодер Pixtral с 1,6 милиарда параметъра. Pixtral има 30 слоя, скрита размерност 2 048 и 16 глави за внимание. Той използва пачове 14 × 14 и проектор за сливане на пачове с размер на пространственото сливане 2. По-долу можете да видите тръбопровода на енкодера.

Резултати от бенчмарковете

Mistral Large 4 показва силни резултати в бенчмарковете за програмиране, киберсигурност, мултимодално разбиране и агентни работни процеси, което го превръща в конкурентно допълнение към екосистемата с отворени тегла. Към 29 октомври 2026 г. моделът е петият най-добър модел с отворени тегла в индекса Artificial Analysis Intelligence.

При програмиране ML4 постига 61,7% в DeepSWE v1.1, 59,4% в SWE-Atlas-QnA и 28,3% в Terminal-Bench 4. Комбинираният му резултат от 49,8% в Coding Agent Index го поставя пред DeepSeek V4 Pro 0813 и Qwen3.8 Max.

Възможностите на ML4 за програмиране се простират и до работата със знания: 59,9% в AutomationBench и 1 393 Elo в AA-Briefcase, които оценяват бизнес работни процеси и професионални задачи с дълъг хоризонт.

Киберсигурността е една от отличителните способности на Mistral Large 4, със силни резултати при оценка на реални уязвимости и задачи от състезания по сигурност. Три бенчмарка подчертават кибер представянето на модела:

Artificial Analysis Cyber Index: ML4 е сред петте най-добри модела в света в тази независима оценка на способността на моделите да откриват и отстраняват уязвимости в софтуера.
Възпроизвеждане и коригиране на уязвимости: Той постига 82% — най-високия отчетен резултат по този тест в рамките на индекса. Задачата изисква възпроизвеждане на реална уязвимост в софтуер с отворен код и последващото ѝ коригиране, като проверява както разследването, така и отстраняването.
Cybench: ML4 решава 93% от набор от 40 предизвикателства, извлечени от състезания по сигурност, демонстрирайки силно представяне при практически задачи по сигурност.

Mistral Large 4 демонстрира и 93,3% устойчивост срещу атаки в бенчмарка B3 на Lakera, което предоставя допълнителни доказателства за устойчивост срещу атаки чрез инжектиране на подсказки. Извън бенчмарковете вътрешните тестове показаха обещаващи резултати при анализ на зловреден софтуер, приоритизиране на уязвимости и генериране на правила за откриване.

Поддръжка за инференс

Mistral Large 4 се предлага с поддръжка от деня на пускането за transformers, vLLM и llama.cpp. GGUF квантизираните версии са налични от GGUF и екипа на llama.cpp. Предлагаме възможности за отдалечено внедряване чрез Inference Endpoints, както и безсървърен инференс чрез Inference Providers.

Transformers

Реализацията в Transformers предоставя AutoModelForMultimodalLM, а AutoProcessor подготвя разговора и входните изображения. Mistral Large 4 може да приема low, medium и high като усилие за разсъждение. Стойността по подразбиране е high; имайте предвид, че разсъждението не може да бъде изключено, така че използването на reasoning_effort: none все пак ще използва high.

За да стартирате модела, актуализирайте пакета transformers

pip install --upgrade transformers

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)


text_messages = [
    {
        "role": "user",
        "content": "Who are you?"
    }
]


multimodal_messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
            },
            {
                "type": "text",
                "text": "How many cats are in the image?",
            },
        ],
    },
]

for messages in [text_messages, multimodal_messages]:
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
        reasoning_effort="medium",
    ).to(model.device).to(model.dtype)
    input_len = inputs["input_ids"].shape[-1]

    outputs = model.generate(**inputs, max_new_tokens=100)
    if int(os.environ["RANK"]) == 0:
        print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

Можете да стартирате горния скрипт, като го запазите във файл на Python с име script.py, след което изпълните

torchrun --nproc-per-node 8 script.py

vLLM

vLLM поддържа висококачествения чекпойнт NVFP4 на Mistral Large 4, който има по-малък отпечатък в паметта и изисква графични процесори NVIDIA Blackwell. Моделът се предлага и с DSpark drafter за допълнително ускоряване с vLLM. Стартирайте сървъра така:

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --config-format mistral \
  --load-format mistral \
  --tensor-parallel-size 8 \
  --decode-context-parallel-size 8 \
  --enable-expert-parallel \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enforce-eager \
  --mm_processor_cache_gb 0.0

След като сървърът работи, можете да изпълните следното.

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'

Llama.cpp

Llama.cpp и Llama App вече поддържат Mistral Large 4.

Можете да инсталирате Llama App със следната команда:

curl -LsSf https://llama.app/install.sh | sh

След това можете да стартирате сървъра по следния начин, като посочите суфикса на квантизацията след ID на модела:

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

Ето хранилището с квантите, получени от FP8 чекпойнта, а това е версията NVFP4, конвертирана от официалното NVFP4 хранилище.

След като сървърът бъде стартиран, можете да отворите localhost:9931 и да разговаряте чрез вградения WebUI. От уеб интерфейса можете да добавяте изображения за инференс и да регулирате нивото на разсъждение.
Можете също да изпращате заявки към сървъра по следния начин. Разгледайте справочника за API за мултимодалност, извиквания на инструменти и още.

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

Можете да изпълнявате инференс на изображения и текст по следния начин.

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
        "model": "muse-spark-open",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "What is in this image?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "data:image/png;base64,..."
                        }
                    }
                ]
            }
        ],
        "temperature": 0
    }'

Екипът на llama.cpp предлага следните кванти: IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0 и BF16 за последващи конвертирания. 2-битовите кванти работят на един компютър Apple Silicon Ultra с 512 GB обединена RAM. Останалите изискват разпределен инференс. Можете да използвате и няколко NVIDIA или AMD карти.

При изпълнение на Q2_K на един M3 Ultra получихме пропускателна способност при предварително запълване от около 90 токена в секунда и скорост на генериране 15 токена/сек. На 4 x RTX6000 Pro наблюдавахме следните резултати:

NVFP4: размер на контекста 32K, предварително запълване 130–590 t/s, скорост на генериране ~10 t/s
IQ2_XXS: размер на контекста 800K. При кратки контексти предварителното запълване е 500 токена/сек, а генерирането се извършва с 30 токена/сек. При дълги контексти обаче производителността спада до 129 токена/сек (предварително запълване) и 3 токена/сек (генериране).

Фино настройване с TRL

Предлагаме и поддръжка от деня на пускането за фино настройване на Mistral Large 4 чрез TRL. Всичко, което трябва да направите, е да актуализирате до най-новата версия на transformers, trl и peft.

pip install --upgrade transformers trl peft

В следващия пример обучаваме модела да извършва многоезично мислене. Фино настроеният модел ще може да разсъждава на езика, посочен от системната подсказка!

Скриптът работи с варианта FP8 на възел с 8xB300.


import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")

dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

Inference Endpoints

Mistral Large 4 е наличен и в Inference Endpoints с готова за внедряване конфигурация за 8 графични процесора NVIDIA H200. Конфигурацията изпълнява vLLM с FP8 теглата, разделени между всичките осем графични процесора чрез тензорен и експертен паралелизъм, и използва вградената DSpark draft head на модела за по-бързо генериране чрез спекулативно декодиране. Тя обслужва до 131K токена контекст и обработва до 16 заявки едновременно. Наблюдавахме следните резултати:

Една заявка: време до първия токен от около 0,6 секунди при подсказка от 1K токена и скорост на генериране ~65 токена/сек, достигаща 120–138 токена/сек при чат подсказки, при които черновите на DSpark са приети.
Дълги подсказки: подсказки от 16K токена, по четири едновременно, се обработват предварително с около 4 300 токена/сек общо, при време до първия токен от 8–9 секунди.
При натоварване: около 480 токена/сек общо генериране при 1 000 разговора от ShareGPT.

Можете да го внедрите с CLI инструмента hf по следния начин:

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

След като крайната точка работи, можете да отправяте заявки към нейния OpenAI-съвместим API, като използвате URL адреса на крайната точка и вашия Hugging Face токен. Полето reasoning_effort контролира колко разсъждава моделът, преди да отговори, и може да бъде зададено на low, medium или high (по подразбиране).

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Large-4-1T-A52B",
        "messages": [
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ],
        "reasoning_effort": "medium"
    }'

Отговорът се връща в choices[0].message.content, а разсъждението — в choices[0].message.reasoning. Крайната точка поддържа също извиквания на инструменти, структурирани изходи, входни изображения и поточно предаване чрез стандартните полета на Chat Completions.

Dell Enterprise Hub

Най-лесният начин да започнете работа с вашите Dell AI сървъри (NVIDIA H200, B200, GB200 или GB300) е да инсталирате CLI инструмента dell-ai:

pip install dell-ai && dell-ai login

След това го използвайте, за да изпълните оптимизирана конфигурация за Mistral Large 4, например на възел NVIDIA B300.

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

Можете да научите повече за тази версия в Dell Enterprise Hub (DEH).

Изпробвайте го

Вземете теглата от колекцията Mistral Large 4, стартирайте ги локално с GGUF версиите или ги внедрете чрез Inference Endpoints. Нямаме търпение да видим какво ще създадете с Le Chonk. Споделете вашите фино настроени модели, кванти и други артефакти в Hub!