Recursive выпустила Flint — локальную MoE-модель с открытыми весами для программирования агентами: 40 млрд параметров, 2,5 млрд активных
Recursive Superintelligence выпустила Flint — свою первую модель. Локальная модель программирования Recursive Flint представляет собой модель mixture-of-experts (MoE) с общим числом параметров 40B и 2,5B активных параметров. Команда Recursive сообщает, что её Eureka Machine — автоматизированная исследовательская система — помогла создать почти все компоненты стека. Веса доступны на Hugging Face по лицензии Apache 2.0.
Кратко
- Размер: 39,8B всего, около 2,5B активных параметров на токен. Контекст: 262 144 токена указаны в карточке модели; в блоге заявлена поддержка до 512k.
- Работает на: 48 ГБ Mac с Apple Silicon (M4 Pro, M5 Pro, M5 Max) или графических процессорах NVIDIA с 48 ГБ памяти. 4-битные веса занимают около 23 ГБ.
- Производительность: Возглавляет рейтинг Recursive среди MoE-моделей объёмом менее 50B в агентном программировании. Уступает сильнейшим плотным моделям.
- Лучшие результаты: IFEval — 95,1%. SWE-bench Verified — 74,2%.
- Худшие результаты: Terminal-Bench 2.1 — 54,9% против 73,0% у плотной Qwen 3.8.
Что такое Recursive Flint?
Flint — это декодерная MoE-трансформерная модель для агентов программирования. Модель исследует кодовые базы, исправляет ошибки, реализует функции и пишет тесты. Она работает только с текстом и поддерживает рассуждения и совместимые с OpenAI вызовы инструментов.
Представляем Flint, первую модель @Recursive_SI: быструю локальную модель программирования, созданную с помощью нашей автоматизированной исследовательской системы Eureka Machine.
— Richard Socher (@RichardSocher) 21 октября 2026 года
• Лучшая в классе быстрая локальная модель программирования
• До 2 раз быстрее сопоставимых моделей: более 125 токенов/с на MacBook Pro, более 150 — на RTX Spark
• Создана с… pic.twitter.com/ufg2xScSGw
Как работает архитектура Flint?
Flint имеет 49 слоёв: 2 плотных слоя, за которыми следуют 47 MoE-слоёв. Каждый MoE-слой содержит 256 маршрутизируемых экспертов. Маршрутизатор выбирает 6 экспертов для каждого токена, а также 1 всегда активный общий эксперт.
Механизм внимания сочетает 2 типа. В 35 слоях используется скользящее окно размером 513 токенов. В 14 слоях применяется полное внимание без позиционного кодирования. Предусмотрено 32 головы запросов и 4 головы ключей/значений.
Показатель 2,5B активных параметров включает выходную голову. В одном только активном корпусе модели около 2,2B параметров.
Как Eureka Machine создала Flint?
Eureka Machine предлагает идеи, реализует их, тестирует и выбирает, что попробовать дальше.
Recursive выделяет 3 вклада:
- Архитектура: Всё началось с базовой модели с 35B общих и 3B активных параметров. Система исследовала конфигурации и размеры экспертов, остановившись на 40B общих и 2,5B активных параметров.
- Квантизация: Она квантизировала выходной слой (lm_head) до 4 бит, вопреки распространённой практике. Автономный этап дистилляции с 16-битной моделью в качестве учителя восстановил точность. Это почти вдвое сократило число шагов обучения по сравнению с базовой моделью с квантизацией во время обучения. Модель NVFP4 набирает в пределах 0,7 пункта от 16-битной модели.
- Ядра: Система написала специализированные ядра для низкобитных проекций, операций MoE, внимания и обработки промптов. На чипах M4 и M5 мегаядро Metal объединяет весь прямой проход декодирования.
Как Flint показывает себя на тестах программирования?
Все приведённые ниже результаты предоставлены самой Recursive. При выборке использовались temperature 1.0, top-p 0.95 и top-k 20.
| Тест | Flint BF16 | Flint NVFP4 |
|---|---|---|
| Terminal-Bench 2.1 | 54,9% | 53,7% |
| SWE-bench Pro v2 | 89,7% | 88,5% |
| SWE-bench Verified | 74,2% | 74,1% |
| LiveCodeBench v6 | 80,3% | 80,8% |
| IFBench | 89,2% | 88,1% |
| IFEval | 95,1% | 94,6% |
В Terminal-Bench использовался стенд Terminus 2. Решения, найденные с помощью веб-поиска, засчитывались как неудачные. Запуски SWE-bench выполнялись с помощью mini-swe-agent без доступа к интернету. Агентные результаты представляют собой среднее значение pass@1 как минимум по 5 попыткам.
В рейтинге Recursive Qwen3.6 набирает 73,4% на SWE-bench Verified. Плотная Qwen 3.8 набирает 73,0% на Terminal-Bench 2.1, значительно опережая Flint.
Собственная сравнительная таблица Recursive (результаты в %, † измерены Recursive, остальные предоставлены разработчиками):
| Модель | Terminal-Bench 2.1 | SWE-bench Pro v2† | SWE-bench Verified | LiveCodeBench v6 | IFBench | IFEval |
|---|---|---|---|---|---|---|
| Flint BF16 | 54,9 | 89,7 | 74,2 | 80,3 | 89,2 | 95,1 |
| Flint NVFP4 | 53,7 | 88,5 | 74,1 | 80,8 | 88,1 | 94,6 |
| Qwen 3.5 (MoE) | 38,7 | 68,6 | 69,2 | 74,6 | 70,2 | 91,9 |
| Qwen 3.6 (MoE) | 44,9 | 73,8 | 73,4 | 80,4 | 67,9 | 89,6 |
| Laguna XS 2.1 (MoE) | 24,7† | 38,6 | 70,9 | 49,5† | 34,4† | 73,7† |
| Qwen 3.8 (плотная) | 73,0 | 94,9 | 75,6† | 90,3 | 79,5 | 94,6† |
| Muse Glimmer (плотная) | 51,7 | 86,0 | 76,0 | 63,5† | 77,0 | 94,7† |
| Gemma 4 (плотная) | 43,4 | 61,7 | 66,6 | 80,0 | 76,0 | 94,6 |
Как Flint сравнивается с Qwen3.6, Laguna XS 2.1 и Gemma 4?
Приведённые ниже показатели конкурентов взяты из собственных карточек моделей разработчиков, а не из рейтинга Recursive.
| Характеристика | Recursive Flint | Qwen3.6-35B-A3B | Laguna XS 2.1 | Gemma 4 31B |
|---|---|---|---|---|
| Разработчик | Recursive | Qwen (Alibaba) | Poolside | Google DeepMind |
| Общее число параметров | 39,8B | 35B | 33B | 30,7B |
| Активные параметры | ~2,5B | 3B | 3B | 30,7B (плотная) |
| Контекст | 262 144 (в блоге: до 512k) | 262 144 в исходном виде, до 1 010 000 | 262 144 | 256K |
| Модальность | Текст | Текст + изображения | Текст | Текст + изображения |
| Лицензия | Apache 2.0 | Apache 2.0 | OpenMDW-1.1 | Apache 2.0 |
| Локальное оборудование | Mac или GPU с 48 ГБ | Не раскрыто | Mac с 36 ГБ ОЗУ | Потребительские GPU, рабочие станции |
| SWE-bench Verified | 74,2% | 73,4% | 70,9% | Не раскрыто |
| Terminal-Bench | 54,9% (v2.1) | 51,5% (v2.0) | 37,5% (v2.0) | Не раскрыто |
| LiveCodeBench v6 | 80,3% | 80,4% | Не раскрыто | 80,0% |
| SWE-bench Pro | 89,7% (v2) | 49,5% (общедоступная версия) | 47,6% (общедоступная версия) | Не раскрыто |
Насколько быстро работает Flint и какое оборудование ему требуется?
Recursive сообщает о скорости более 125 токенов в секунду на MacBook Pro с M4 Pro. На NVIDIA RTX Spark с 64 ГБ заявлена скорость более 150 токенов в секунду. Оба показателя получены для короткого контекста; это до 2 раз быстрее сопоставимых моделей. Также утверждается, что Flint работает более чем в 5 раз быстрее плотных моделей объёмом 25–40B с аналогичными результатами в программировании.
Есть 3 варианта локального запуска:
- Apple Silicon: Веса Flint INT4 для MLX занимают около 22,6 ГБ. Для работы движка rec требуется M4 Pro, M5 Pro или M5 Max с 48 ГБ памяти. На M4 Pro заявлена производительность в 1,4–2,6 раза выше, чем у llama.cpp.
- NVIDIA: Файл NVFP4 GGUF занимает 22,9 ГБ. Recursive рекомендует как минимум 48 ГБ памяти GPU.
- Сервер: Для контрольной точки BF16 размером 80 ГБ требуется 1 GPU B300 или H200 на реплику.
Flint также работает с llama.cpp, Ollama, Unsloth, LM Studio, vLLM и SGLang.
Основные выводы
- Flint — это MoE-модель программирования объёмом 40B, в которой активны только 2,5B параметров.
- Она набирает 74,2% на SWE-bench Verified и 54,9% на Terminal-Bench 2.1.
- 4-битные веса работают примерно в 23 ГБ памяти на Mac или GPU с 48 ГБ.
- Eureka Machine от Recursive помогла разработать архитектуру, квантизацию и ядра.
- Результаты SWE-bench Pro v2 измерены Recursive и несопоставимы с общедоступным SWE-Bench Pro.
Ознакомьтесь с техническими подробностями, весами модели и движком rec на GitHub. Вся благодарность принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.