Recursive випустила Flint — локальну MoE-модель із відкритими вагами для програмування агентами: 40 млрд параметрів, 2,5 млрд активних
Recursive Superintelligence випустила Flint, свою першу модель. Локальна модель для програмування Recursive Flint — це модель суміші експертів (MoE) із загалом 40 млрд і 2,5 млрд активних параметрів. Команда Recursive зазначає, що її Eureka Machine, автоматизована дослідницька система, допомогла створити майже кожну частину стеку. Ваги доступні на Hugging Face за ліцензією Apache 2.0.
Коротко
- Розмір: 39,8 млрд загалом, близько 2,5 млрд активних на токен. Контекст: 262 144 токени зазначено в картці моделі; у блозі наведено значення до 512 тис.
- Працює на: 48-гігабайтних Mac з Apple Silicon (M4 Pro, M5 Pro, M5 Max) або 48-гігабайтних GPU NVIDIA. Ваги в 4-бітному форматі займають близько 23 ГБ.
- Продуктивність: Очолює рейтинг Recursive серед MoE-моделей до 50 млрд параметрів у задачах агентного програмування. Поступається найсильнішим щільним моделям.
- Найкращий результат: IFEval — 95,1%. SWE-bench Verified — 74,2%.
- Найгірший результат: Terminal-Bench 2.1 — 54,9% проти 73,0% у щільної Qwen 3.8.
Що таке Recursive Flint?
Flint — це decoder-only MoE-трансформер для агентів програмування. Модель досліджує кодові бази, виправляє помилки, реалізує функції та пише тести. Вона працює лише з текстом і підтримує міркування та сумісні з OpenAI виклики інструментів.
Представляємо Flint, @Recursive_SI — першу модель: швидку локальну модель для програмування, створену за допомогою нашої автоматизованої дослідницької системи Eureka Machine.
— Richard Socher (@RichardSocher) 21 жовтня 2026 року
• Найкраще у своєму класі швидке локальне програмування
• До 2 разів швидша за зіставні моделі: понад 125 токенів/с на MacBook Pro, понад 150 — на RTX Spark
• Створена за допомогою… pic.twitter.com/ufg2xScSGw
Як працює архітектура Flint?
Flint має 49 шарів: 2 щільні шари, а потім 47 MoE-шарів. Кожен MoE-шар має 256 маршрутизованих експертів. Маршрутизатор обирає 6 експертів на токен, а також 1 завжди активний спільний експерт.
Механізм уваги поєднує 2 типи. У 35 шарах використовується ковзне вікно на 513 токенів. У 14 шарах використовується повна увага без позиційного кодування. Є 32 голови запитів і 4 голови ключів/значень.
Показник 2,5 млрд активних параметрів включає вихідну голову. Власне активне тіло моделі має близько 2,2 млрд параметрів.
Як Eureka Machine створила Flint?
Eureka Machine пропонує ідеї, реалізує їх, тестує та обирає, що випробувати далі.
Recursive виокремлює 3 внески:
- Архітектура: Роботу розпочали з базової моделі із 35 млрд загальних і 3 млрд активних параметрів. Система перебрала конфігурації та ширину експертів і зупинилася на 40 млрд загальних та 2,5 млрд активних параметрів.
- Квантизація: Вона квантизувала вихідний шар (lm_head) до 4 бітів, всупереч поширеній практиці. Автономний етап дистиляції, де 16-бітна модель була вчителем, відновив точність. Це майже вдвічі скоротило кількість кроків навчання порівняно з базовим варіантом навчання з урахуванням квантизації. Модель NVFP4 набирає на 0,7 бала менше за 16-бітну модель.
- Ядра: Система написала спеціалізовані ядра для низькобітних проєкцій, операцій MoE, уваги та обробки запитів. На чипах M4 і M5 мегаядро Metal об’єднує весь прямий прохід декодування.
Як Flint показує себе в бенчмарках програмування?
Усі наведені нижче результати повідомлені самою Recursive. Для семплінгу використовувалися temperature 1.0, top-p 0.95 і top-k 20.
| Бенчмарк | Flint BF16 | Flint NVFP4 |
|---|---|---|
| Terminal-Bench 2.1 | 54,9% | 53,7% |
| SWE-bench Pro v2 | 89,7% | 88,5% |
| SWE-bench Verified | 74,2% | 74,1% |
| LiveCodeBench v6 | 80,3% | 80,8% |
| IFBench | 89,2% | 88,1% |
| IFEval | 95,1% | 94,6% |
У Terminal-Bench використовувався набір інструментів Terminus 2. Рішення, знайдені за допомогою пошуку в інтернеті, зараховувалися як невдалі. Запуски SWE-bench виконувалися за допомогою mini-swe-agent без доступу до інтернету. Агентні результати — це середнє значення pass@1 щонайменше за 5 спроб.
У рейтингу Recursive Qwen3.6 набирає 73,4% у SWE-bench Verified. Щільна Qwen 3.8 набирає 73,0% у Terminal-Bench 2.1, що значно вище за результат Flint.
Власна порівняльна таблиця Recursive (результати у %, † виміряно Recursive, інші наведені розробниками):
| Модель | Terminal-Bench 2.1 | SWE-bench Pro v2† | SWE-bench Verified | LiveCodeBench v6 | IFBench | IFEval |
|---|---|---|---|---|---|---|
| Flint BF16 | 54,9 | 89,7 | 74,2 | 80,3 | 89,2 | 95,1 |
| Flint NVFP4 | 53,7 | 88,5 | 74,1 | 80,8 | 88,1 | 94,6 |
| Qwen 3.5 (MoE) | 38,7 | 68,6 | 69,2 | 74,6 | 70,2 | 91,9 |
| Qwen 3.6 (MoE) | 44,9 | 73,8 | 73,4 | 80,4 | 67,9 | 89,6 |
| Laguna XS 2.1 (MoE) | 24,7† | 38,6 | 70,9 | 49,5† | 34,4† | 73,7† |
| Qwen 3.8 (щільна) | 73,0 | 94,9 | 75,6† | 90,3 | 79,5 | 94,6† |
| Muse Glimmer (щільна) | 51,7 | 86,0 | 76,0 | 63,5† | 77,0 | 94,7† |
| Gemma 4 (щільна) | 43,4 | 61,7 | 66,6 | 80,0 | 76,0 | 94,6 |
Як Flint порівнюється з Qwen3.6, Laguna XS 2.1 і Gemma 4?
Наведені нижче показники конкурентів походять із власних карток моделей кожного розробника, а не з рейтингу Recursive.
| Характеристика | Recursive Flint | Qwen3.6-35B-A3B | Laguna XS 2.1 | Gemma 4 31B |
|---|---|---|---|---|
| Розробник | Recursive | Qwen (Alibaba) | Poolside | Google DeepMind |
| Загальна кількість параметрів | 39,8 млрд | 35 млрд | 33 млрд | 30,7 млрд |
| Активні параметри | ~2,5 млрд | 3 млрд | 3 млрд | 30,7 млрд (щільна) |
| Контекст | 262 144 (у блозі: до 512 тис.) | 262 144 нативно, до 1 010 000 | 262 144 | 256 тис. |
| Модальність | Текст | Текст + зображення | Текст | Текст + зображення |
| Ліцензія | Apache 2.0 | Apache 2.0 | OpenMDW-1.1 | Apache 2.0 |
| Локальне обладнання | Mac або GPU з 48 ГБ | Не розголошується | Mac із 36 ГБ ОЗП | Споживчі GPU, робочі станції |
| SWE-bench Verified | 74,2% | 73,4% | 70,9% | Не розголошується |
| Terminal-Bench | 54,9% (v2.1) | 51,5% (v2.0) | 37,5% (v2.0) | Не розголошується |
| LiveCodeBench v6 | 80,3% | 80,4% | Не розголошується | 80,0% |
| SWE-bench Pro | 89,7% (v2) | 49,5% (публічний) | 47,6% (публічний) | Не розголошується |
Наскільки швидка Flint і яке обладнання їй потрібне?
Recursive повідомляє про понад 125 токенів на секунду на MacBook Pro з M4 Pro. На 64-гігабайтному NVIDIA RTX Spark заявлено понад 150 токенів на секунду. Обидва показники отримано для короткого контексту; це до 2 разів швидше за зіставні моделі. Також заявляється, що Flint працює більш ніж у 5 разів швидше за щільні моделі на 25–40 млрд параметрів із подібними результатами в програмуванні.
Є 3 локальні варіанти:
- Apple Silicon: Ваги Flint INT4 MLX займають близько 22,6 ГБ. Для роботи рушія rec потрібен M4 Pro, M5 Pro або M5 Max із 48 ГБ пам’яті. На M4 Pro він забезпечує у 1,4–2,6 раза вищу пропускну здатність, ніж llama.cpp.
- NVIDIA: Файл NVFP4 GGUF має розмір 22,9 ГБ. Recursive рекомендує щонайменше 48 ГБ пам’яті GPU.
- Сервер: Для контрольної точки BF16 на 80 ГБ потрібен 1 GPU B300 або H200 на репліку.
Flint також працює з llama.cpp, Ollama, Unsloth, LM Studio, vLLM і SGLang.
Основні висновки
- Flint — це MoE-модель для програмування на 40 млрд параметрів, із яких активні лише 2,5 млрд.
- Вона набирає 74,2% у SWE-bench Verified і 54,9% у Terminal-Bench 2.1.
- Ваги в 4-бітному форматі працюють приблизно в 23 ГБ на Mac або GPU з 48 ГБ пам’яті.
- Eureka Machine від Recursive допомогла спроєктувати архітектуру, квантизацію та ядра.
- Результати SWE-bench Pro v2 виміряні Recursive і не є порівнюваними з публічним SWE-Bench Pro.
Ознайомтеся з технічними деталями, вагами моделі та рушієм rec на GitHub. Усі заслуги належать досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту ML із понад 150 тис. учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.