Стартирайте бързи, поверителни агенти на устройството с LFM2.5-24B-A2B

LFM2.5-24B-A2B е модел за разсъждение с 24 млрд. параметъра, от които само 2 млрд. са активни, създаден за бързи, поверителни агенти на устройството. Той мисли, преди да отговори, извиква инструменти и изпълнява многоетапни задачи в популярни агентски среди. Тъй като за всеки токен са активни само 2 млрд. параметъра, всеки токен за разсъждение е евтин, така че можете да стартирате агенти непрекъснато на собствения си хардуер.

• Агент от най-висок клас: Конкурентен на Qwen3.6-35B-A3B — модел с приблизително 50% повече общи и активни параметри — при агентски задачи и задачи за използване на инструменти, с резултат 48.09 срещу 38.19 в LiveClaw.
• Разсъждение със скоростта на MoE: Винаги мисли, преди да отговори. Със само 2 млрд. активни параметъра на токен всеки токен за разсъждение е евтин.
• Ефективно инфериране: 184 токена/сек. на Apple M5 Max и до 21 хил. изходни токена/сек. на един графичен процесор NVIDIA B300.

Как създадохме агент за разсъждение с 2 млрд. активни параметъра

LFM2.5-24B-A2B е изграден върху LFM2-24B-A2B и запазва архитектурата му: 40 слоя, 64 експерта на MoE блок с маршрутизиране към 4-те най-подходящи експерта и същата хибридна комбинация от гейтвани къси свертки и GQA. Контекстният прозорец нараства от 32 хил. на 131 хил. токена, а разширяването на токенизатора на място удвоява речника от 65 хил. на 128 хил. токена за по-добра токенизация на нелатински текст. За разлика от предшественика си, това е модел само за разсъждение, който генерира явна верига на мисълта преди крайния си отговор.

Предварителното обучение е увеличено от приблизително 17 трилиона на приблизително 33 трилиона токена. Следващият етап на обучение добавя 2 трилиона токена с контекст от 32 хил., с акцент върху разсъждението, математиката, кода, следването на инструкции и многоезичния текст, както и 300 млрд. токена с контекст от 131 хил., с акцент върху данни с дълъг контекст. Извикванията на инструменти и многоходовите траектории присъстват и в двете фази. Последващото обучение превръща базовия модел в агент на пет етапа:

1. Надзиравано фино настройване (SFT)
2. Специализация на учители
3. Дистилация с обучение от собствената политика в множество области (MOPD), неагентска: дистилиране на специализираните учители при неагентски задачи.
4. MOPD, агентска: втори етап на дистилация, фокусиран върху агентски задачи.
5. Агентско обучение с подсилване (Agentic RL): обучение на модела в агентски среди като OpenClaw, Hermes Agent, Pi и OpenCode.

Резултати от бенчмарковете

Оценихме LFM2.5-24B-A2B спрямо Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it и Nemotron-3.5-Lightning в 16 бенчмарка, обхващащи използването на инструменти и агентските работни процеси, знанията, следването на инструкции, математиката и програмирането. Това е най-малкият модел в групата, но е конкурентен на MoE моделите с приблизително 50% повече общи и активни параметри.

*Всички модели са оценени с vLLM, като са използвани препоръчаните от всеки бенчмарк параметри за генериране.

За вашето приложение силните страни са използването на инструменти и следването на инструкции. LFM2.5-24B-A2B води или се изравнява с конкурентите в пет от осемте бенчмарка за използване на инструменти и агентски задачи (AutomationBench, BFCLv4, ToolSandbox, LiveClaw и τ³-Bench Banking), а в AutomationBench постига повече от три пъти по-висок резултат от следващия най-добър модел. Той води и в трите бенчмарка за следване на инструкции. По-големите модели запазват предимство при бенчмаркове с интензивно използване на знания, като GPQA Diamond, HLE и AA-Omniscience, както и при бенчмаркове за програмиране, като SWE-Bench Verified (OpenCode) и SciCode, затова комбинирайте LFM2.5-24B-A2B с извличане на информация или уеб търсене при натоварвания, изискващи много знания.

Тези резултати превръщат LFM2.5-24B-A2B в стабилна основа за агенти, които трябва да разсъждават, да извикват инструменти и да работят надеждно на вашето устройство.

Скорост на инфериране на CPU и GPU

LFM2.5-24B-A2B се предлага с поддръжка още от първия ден в цялата екосистема за инфериране, включително llama.cpp, MLX, vLLM, SGLang и ONNX.

Инфериране на периферни устройства. LFM2.5-24B-A2B е най-бързият от сравнените MoE модели, като декодира 184 токена/сек. на M5 Max и 114 токена/сек. на Ryzen AI Max+ 395. Това е до 1,7 пъти по-бързо от следващия най-добър модел, като същевременно използва най-малко памет.

GPU инфериране. LFM2.5-24B-A2B е най-бързият модел в своя клас по размер, като достига над 21 хил. изходни токена в секунда при висока паралелност на един B300.

Как да използвате LFM2.5-24B-A2B

Изберете LFM2.5-24B-A2B, когато се нуждаете от агенти, които разсъждават, извикват инструменти и работят надеждно на вашето устройство.

Инсталирайте най-новата версия на transformers (съвместима с transformers>=5.0.0):

pip install -U transformers

След това заредете и стартирайте модела:

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",

)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

Използвайте го във вашата агентска среда

Предоставете LFM2.5-24B-A2B локално чрез всеки OpenAI-съвместим бекенд, след което насочете агентската си среда към него. Например с Hermes Agent:

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

Портът зависи от бекенда за предоставяне: llama.cpp и MLX използват 8080, vLLM използва 8000, SGLang използва 30000, а LM Studio използва 1234. Вижте картата на модела за конфигурации на OpenClaw и Pi, а нашето ръководство за пълната настройка. Вижте блога за изданието ни за видео примери.

Започнете с LFM2.5-24B-A2B

И LFM2.5-24B-A2B, и LFM2.5-24B-A2B-Base са модели с отворени тегла и са достъпни в Hugging Face още днес:

• Изтегляне: LFM2.5-24B-A2B-Base и LFM2.5-24B-A2B в Hugging Face.
• Използване във вашата среда: следвайте ръководството ни за това как да стартирате локален агент като OpenClaw, Hermes Agent и Pi.
• Фино настройване: адаптирайте LFM2.5-24B-A2B към вашата задача с нашите уроци за фино настройване.

Нямаме търпение да видим какво ще създадете.

Цитиране

Ако използвате тази разработка, моля, цитирайте блога за изданието:

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}

Модели, споменати в тази статия 3

Още от този автор