Запускайте швидких і конфіденційних агентів на пристрої з LFM2.5-24B-A2B

LFM2.5-24B-A2B — це модель міркування з 24 млрд параметрів, з яких активними є лише 2 млрд, створена для швидких приватних агентів на пристрої. Вона обмірковує відповідь перед її наданням, викликає інструменти та виконує багатокрокові завдання всередині популярних агентських оболонок. Оскільки для кожного токена активними є лише 2 млрд параметрів, кожен токен міркування коштує недорого, тож ви можете безперервно запускати агентів на власному обладнанні.

• Найкращий у класі агент: Конкурує з Qwen3.6-35B-A3B — моделлю приблизно на 50% більшою за загальною та активною кількістю параметрів — у завданнях із використанням агентів та інструментів, набираючи 48.09 проти 38.19 на LiveClaw.
• Міркування зі швидкістю MoE: Завжди обмірковує відповідь перед її наданням. Оскільки для кожного токена активними є лише 2 млрд параметрів, кожен токен міркування коштує недорого.
• Ефективний інференс: 184 токени/с на Apple M5 Max і до 21 тис. вихідних токенів/с на одному графічному процесорі NVIDIA B300.

Як ми створили агента міркування з 2 млрд активних параметрів

LFM2.5-24B-A2B побудована на основі LFM2-24B-A2B і зберігає її архітектуру: 40 шарів, 64 експерти в кожному блоці MoE з маршрутизацією top-4, а також ту саму гібридну структуру з вентильованими короткими згортками та GQA. Контекстне вікно збільшено з 32 тис. до 131 тис. токенів, а розширення токенізатора на місці подвоює словник із 65 тис. до 128 тис. токенів для кращої токенізації нелатинських текстів. На відміну від попередниці, це модель виключно для міркування, яка генерує явний ланцюжок міркувань перед остаточною відповіддю.

Масштаб попереднього навчання збільшено приблизно з 17 до 33 трлн токенів. Потім під час проміжного навчання додано 2 трлн токенів із контекстом 32 тис., із підвищеною часткою міркувань, математики, коду, дотримання інструкцій і багатомовних текстів, а також 300 млрд токенів із контекстом 131 тис., із підвищеною часткою даних із довгим контекстом. Виклики інструментів і багатотурові траєкторії використовуються на обох етапах. Постнавчання перетворює базову модель на агента у п’ять етапів:

1. Кероване донавчання (SFT)
2. Спеціалізація вчителів
3. Дистиляція за політикою в багатьох доменах (MOPD), неагентська: дистиляція спеціалізованих моделей-учителів на неагентських завданнях.
4. MOPD, агентська: другий етап дистиляції, зосереджений на агентських завданнях.
5. Агентське навчання з підкріпленням (Agentic RL): навчання моделі всередині агентських оболонок, таких як OpenClaw, Hermes Agent, Pi та OpenCode.

Результати тестування

Ми оцінили LFM2.5-24B-A2B у порівнянні з Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it і Nemotron-3.5-Lightning за 16 тестами, що охоплюють використання інструментів і агентські робочі процеси, знання, дотримання інструкцій, математику та програмування. Це найменша модель у групі, проте вона конкурує з MoE-моделями приблизно на 50% більшими за загальною та активною кількістю параметрів.

*Усі моделі оцінювалися за допомогою vLLM із використанням рекомендованих параметрів генерації для кожного тесту.

Для вашого застосунку сильними сторонами є використання інструментів і дотримання інструкцій. LFM2.5-24B-A2B випереджає або зрівнюється з конкурентами у п’яти з восьми тестів на використання інструментів та агентські завдання (AutomationBench, BFCLv4, ToolSandbox, LiveClaw і τ³-Bench Banking), а в AutomationBench набирає більш ніж утричі більше балів, ніж наступна найкраща модель. Вона також лідирує в усіх трьох тестах на дотримання інструкцій. Більші моделі зберігають перевагу в тестах, що значною мірою залежать від знань, як-от GPQA Diamond, HLE та AA-Omniscience, а також у тестах програмування, як-от SWE-Bench Verified (OpenCode) і SciCode, тому поєднуйте LFM2.5-24B-A2B із пошуком за даними або вебпошуком для робочих навантажень, що значною мірою залежать від знань.

Ці результати роблять LFM2.5-24B-A2B потужною основою для агентів, яким потрібно міркувати, викликати інструменти та надійно працювати на вашому пристрої.

Швидкість інференсу на CPU і GPU

LFM2.5-24B-A2B із першого дня підтримується всією екосистемою інференсу, зокрема llama.cpp, MLX, vLLM, SGLang та ONNX.

Інференс на периферійних пристроях. LFM2.5-24B-A2B — найшвидша з порівнюваних MoE-моделей: вона декодує 184 токени/с на M5 Max і 114 токенів/с на Ryzen AI Max+ 395. Це до 1,7 раза швидше за наступну найкращу модель при використанні найменшого обсягу пам’яті.

Інференс на GPU. LFM2.5-24B-A2B — найшвидша модель у своєму класі розміру: вона досягає понад 21 тис. вихідних токенів за секунду за високої паралельності на одному B300.

Як використовувати LFM2.5-24B-A2B

Обирайте LFM2.5-24B-A2B, коли вам потрібні агенти, які міркують, викликають інструменти та надійно працюють на вашому пристрої.

Встановіть останню версію transformers (сумісну з transformers>=5.0.0):

pip install -U transformers

Потім завантажте та запустіть модель:

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",

)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

Використовуйте її у своїй агентській оболонці

Запустіть LFM2.5-24B-A2B локально за будь-яким OpenAI-сумісним сервером, а потім спрямуйте на нього свою агентську оболонку. Наприклад, із Hermes Agent:

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

Порт залежить від серверної частини: llama.cpp і MLX використовують 8080, vLLM — 8000, SGLang — 30000, а LM Studio — 1234. Дивіться картку моделі для конфігурацій OpenClaw і Pi, а також наш посібник для повного налаштування. Перегляньте блог про випуск, щоб ознайомитися з відеоприкладами.

Почніть роботу з LFM2.5-24B-A2B

І LFM2.5-24B-A2B, і LFM2.5-24B-A2B-Base мають відкриті ваги та вже доступні на Hugging Face:

• Завантаження: LFM2.5-24B-A2B-Base і LFM2.5-24B-A2B на Hugging Face.
• Використання у своїй оболонці: дотримуйтеся нашого посібника про запуск локального агента, як-от OpenClaw, Hermes Agent і Pi.
• Донавчання: адаптуйте LFM2.5-24B-A2B до свого завдання за допомогою навчальних матеріалів із донавчання.

Ми з нетерпінням чекаємо, що ви створите.

Цитування

Якщо ви використовуєте цю роботу, процитуйте, будь ласка, блог про випуск:

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}

Моделі, згадані в цій статті 3

Інші матеріали цього автора