Запускайте быстрых и конфиденциальных агентов на устройстве с LFM2.5-24B-A2B

LFM2.5-24B-A2B — это модель рассуждений с 24 млрд параметров, из которых активны только 2 млрд; она создана для быстрых приватных агентов, работающих на устройстве. Перед ответом она рассуждает, вызывает инструменты и выполняет многошаговые задачи внутри популярных агентских оболочек. Поскольку для каждого токена активны только 2 млрд параметров, каждый токен рассуждения обходится дёшево, поэтому агенты могут непрерывно работать на вашем собственном оборудовании.

• Агент высшего класса: сопоставима с Qwen3.6-35B-A3B — моделью примерно с 50% большим количеством общих и активных параметров — в задачах агентской работы и использования инструментов: 48,09 против 38,19 балла в LiveClaw.
• Рассуждения со скоростью MoE: всегда рассуждает перед ответом. При наличии всего 2 млрд активных параметров на токен каждый токен рассуждения обходится дёшево.
• Эффективный вывод: 184 токена/с на Apple M5 Max и до 21 тыс. выходных токенов/с на одном GPU NVIDIA B300.

Как мы создали агента рассуждений с 2 млрд активных параметров

LFM2.5-24B-A2B создана на основе LFM2-24B-A2B и сохраняет её архитектуру: 40 слоёв, 64 эксперта на блок MoE с маршрутизацией top-4 и ту же гибридную схему с управляемыми короткими свёртками и GQA. Размер контекстного окна увеличен с 32 тыс. до 131 тыс. токенов, а расширение токенизатора на месте удваивает словарь с 65 тыс. до 128 тыс. токенов для улучшения токенизации нелатинских текстов. В отличие от предшественницы, это модель только для рассуждений, которая формирует явную цепочку рассуждений перед окончательным ответом.

Масштаб предварительного обучения был увеличен примерно с 17 трлн до 33 трлн токенов. Затем на этапе промежуточного обучения добавлено 2 трлн токенов с контекстом 32 тыс., с упором на рассуждения, математику, код, следование инструкциям и многоязычные тексты, а также 300 млрд токенов с контекстом 131 тыс., с упором на данные с длинным контекстом. Вызовы инструментов и многоходовые траектории использовались на обоих этапах. Последующее обучение превращает базовую модель в агента в пять этапов:

1. Обучение с учителем (SFT)
2. Специализация учителей
3. Дистилляция по политике в нескольких предметных областях (MOPD), неагентская: дистилляция специализированных моделей-учителей на неагентских задачах.
4. MOPD, агентская: второй этап дистилляции, ориентированный на агентские задачи.
5. Агентское обучение с подкреплением (Agentic RL): обучение модели внутри агентских оболочек, таких как OpenClaw, Hermes Agent, Pi и OpenCode.

Результаты тестирования

Мы оценили LFM2.5-24B-A2B в сравнении с Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it и Nemotron-3.5-Lightning по 16 тестам, охватывающим использование инструментов и агентские рабочие процессы, знания, следование инструкциям, математику и программирование. Это самая маленькая модель в группе, но она сопоставима с MoE-моделями примерно с 50% большим количеством общих и активных параметров.

*Все модели оценивались с помощью vLLM с использованием рекомендуемых для каждого теста параметров генерации.

Для вашего приложения сильными сторонами модели являются использование инструментов и следование инструкциям. LFM2.5-24B-A2B лидирует или соответствует конкурентам в пяти из восьми тестов на использование инструментов и агентскую работу (AutomationBench, BFCLv4, ToolSandbox, LiveClaw и τ³-Bench Banking), а в AutomationBench набирает более чем втрое больше баллов, чем следующая лучшая модель. Она также лидирует во всех трёх тестах на следование инструкциям. Более крупные модели сохраняют преимущество в тестах, требующих обширных знаний, таких как GPQA Diamond, HLE и AA-Omniscience, а также в тестах программирования, таких как SWE-Bench Verified (OpenCode) и SciCode, поэтому для задач, требующих обширных знаний, используйте LFM2.5-24B-A2B вместе с поиском по базе данных или в интернете.

Эти результаты делают LFM2.5-24B-A2B надёжной основой для агентов, которым необходимо рассуждать, вызывать инструменты и стабильно работать на вашем устройстве.

Скорость вывода на CPU и GPU

LFM2.5-24B-A2B с первого дня поддерживается всей экосистемой вывода, включая llama.cpp, MLX, vLLM, SGLang и ONNX.

Вывод на периферийных устройствах. LFM2.5-24B-A2B — самая быстрая из сравниваемых MoE-моделей: она декодирует 184 токена/с на M5 Max и 114 токенов/с на Ryzen AI Max+ 395. Это до 1,7 раза быстрее следующей лучшей модели при использовании наименьшего объёма памяти.

Вывод на GPU. LFM2.5-24B-A2B — самая быстрая модель в своём классе размера: при высокой степени параллелизма она достигает более 21 тыс. выходных токенов в секунду на одном B300.

Как использовать LFM2.5-24B-A2B

Выбирайте LFM2.5-24B-A2B, когда вам нужны агенты, способные рассуждать, вызывать инструменты и надёжно работать на вашем устройстве.

Установите последнюю версию transformers (совместимую с transformers>=5.0.0):

pip install -U transformers

Затем загрузите и запустите модель:

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",

)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

Использование в агентской оболочке

Запустите LFM2.5-24B-A2B локально через любой OpenAI-совместимый бэкенд, а затем укажите его в своей агентской оболочке. Например, с Hermes Agent:

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

Порт зависит от вашего бэкенда: llama.cpp и MLX используют 8080, vLLM — 8000, SGLang — 30000, а LM Studio — 1234. Конфигурации для OpenClaw и Pi см. в карточке модели, а полную инструкцию по настройке — в нашем руководстве. Примеры видео смотрите в блоге о выпуске.

Начните работу с LFM2.5-24B-A2B

Обе модели — LFM2.5-24B-A2B и LFM2.5-24B-A2B-Base — распространяются с открытыми весами и уже доступны на Hugging Face:

• Скачать: LFM2.5-24B-A2B-Base и LFM2.5-24B-A2B на Hugging Face.
• Использовать в своей оболочке: ознакомьтесь с нашим руководством о запуске локального агента, например OpenClaw, Hermes Agent или Pi.
• Дообучить: адаптируйте LFM2.5-24B-A2B под свою задачу с помощью наших руководств по дообучению.

Нам не терпится увидеть, что вы создадите.

Цитирование

Если вы используете эту работу, пожалуйста, сошлитесь на блог о выпуске:

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}

Модели, упомянутые в этой статье 3

Другие материалы этого автора