Mirendil выпустила Fern 0.1, свою первую модель, с контекстом в 10 млн токенов
Mirendil выпустила Fern, свою первую ИИ-модель. Mirendil Fern — это модель для программирования, созданная с нуля, с контекстным окном объёмом до 10 млн токенов. Mirendil объясняет, что это соответствует примерно 23 МБ кода, или приблизительно полумиллиону строк. Это кодовая база масштаба Megatron-LM, целиком удерживаемая в контексте одновременно. Fern 0.1 — первая версия, созданная на основе Mirendil-Base после короткого этапа дообучения. Для разработчиков это означает возможность одновременно загрузить целый репозиторий, полный журнал обучения или несколько дней трассировок работы агента.
Кратко
- Размер: от 0,1 до 0,5 трлн параметров (точное количество и число активных параметров не раскрываются); контекст — до 10 млн токенов.
- Запуск: только через размещённый сервис в рамках раннего доступа; об открытых весах или квантованных сборках не объявлялось.
- Производительность: сильные результаты в извлечении данных из длинного контекста, средние результаты в агентном программировании по сравнению с моделями с открытыми весами, значительно ниже передовых моделей.
- Лучший результат: 100% в задаче извлечения одного ключевого фрагмента RULER на всех длинах от 32 тыс. до 10 млн токенов (базовая модель).
- Худший результат: 6,1% в Terminal Bench 4.0 против 66,4% у Claude Opus 5.5 в собственной таблице Mirendil.
Что такое Mirendil Fern?
Fern — языковая модель от Mirendil, лаборатории исследований и разработок в области ИИ.
Fern предназначена для работы в сфере исследований и разработок ИИ, а не для общего общения. Mirendil перечисляет 6 целевых вариантов использования:
- Работа с более крупными кодовыми базами
- Агентное программирование с выполнением команд до тех пор, пока тесты не пройдут
- Исследовательский код: циклы обучения, конвейеры данных и оценки
- Отладка запусков обучения по длинным журналам и трассировкам стека
- Сквозное чтение полных трассировок работы агента или обучения
- Аудит фрагментов данных предварительного обучения на наличие дубликатов, загрязнения и мусора
Как создавалась Fern?
Fern основана на Mirendil-Base, которую, по словам Mirendil, один исследователь обучал 3,5 месяца. Общие вычислительные затраты составили менее 10 млн долларов, включая эксперименты, расход токенов агентами и обработку данных. ИИ-агенты написали более 99% кода. Исследователь решал, что и когда пробовать, а также когда вмешиваться.
Данные для обучения поступали только из общедоступных источников: GitHub, публичного кода, веб-страниц и общедоступных наборов данных. Mirendil утверждает, что не использовала дистилляцию, синтетические данные или лицензированные данные. Код был написан с нуля на PyTorch и JAX.
Fern — самая маленькая из 3 запланированных моделей. Mirendil-Base-Large (от 0,5 до 2 трлн параметров) более чем на 80% завершила предварительное обучение. Mirendil-Base-XL (от 2 до 10 трлн параметров) завершила более 20% обучения.
Действительно ли более длинный контекст помогает?
Mirendil проверила предсказание следующего токена на собственных репозиториях, объединённых в поток объёмом 42,9 МБ. Она измеряла кросс-энтропию в битах на байт, где меньшее значение лучше. Размеры окон здесь указаны в байтах, а не в токенах.
Потери Fern снизились с 0,246 при размере окна 32 тыс. байт до 0,155 при 16 млн и 23 млн байт. Другие модели оценивались примерно до 1 млн токенов — заявленного для них предела. При размере окна 1 млн байт результат Kimi-K3 составил 0,140, а Fern — 0,165. Таким образом, Fern не является лучшим предсказателем при одинаковом контексте. Её преимущество в том, что кривая продолжает снижаться после точки, где другие модели останавливаются.
Как Fern показывает себя в RULER?
RULER — стандартный тест длинного контекста. Mirendil провела 5 тестов RULER на Mirendil-Base — модели до постобучения. Использовались жадное декодирование, отключённый режим рассуждений и точное сопоставление строк.
| Задача RULER | 32 тыс. | 1 млн | 4 млн | 10 млн |
|---|---|---|---|---|
| Один ключевой фрагмент | 100 | 100 | 100 | 100 |
| Извлечение по нескольким ключам | 100 | 98 | 98 | 90 |
| Несколько ключей, все фрагменты | 100 | 100 | 100 | 100 |
| Отслеживание переменных | 100 | 95 | 75 | 100 |
| Многошаговые вопросы и ответы (HotpotQA) | 65 | 65 | 60 | 45 |
Извлечение данных сохраняет высокое качество. Результат многошагового рассуждения снижается до 45% при 10 млн токенов. В каждой ячейке для 10 млн используются только 20 примеров против 100 в остальных случаях. Mirendil сообщает, что более масштабные результаты для длинного контекста будут опубликованы позднее.
Как Fern 0.1 показывает себя в агентных тестах?
Mirendil сравнила Fern 0.1 с моделями с открытыми весами и передовыми моделями. Результаты для других моделей взяты из карточек моделей, таблиц лидеров или собственных запусков Mirendil.
| Тест (процент успешного прохождения) | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 44.2 | 67.3 | 66.9 | 74.2 |
| Terminal Bench 4.0 | 6.1 | 12.6 | 41.9 | 66.4 |
| SWE Atlas QnA | 53.2 | 66.1 | 59.4 | 66.4 |
| SWE-Pro v2 Hard | 76.5 | 88.2 | 84.3 | 100.0 |
| SWE-Bench Verified | 73.4 | 93.4 | 95.4 | 98.2 |
Fern 0.1 превосходит Inkling и Nemotron 3 Ultra в 4 из 5 тестов. Она показывает такой же результат, как Beam, в SWE-Pro v2 Hard — 76,5. В SWE-Bench Verified она уступает Beam: 73,4 против 81,6. Все передовые и крупные модели с открытыми весами в таблице показывают лучшие результаты.
Как Fern сравнивается с похожими моделями?
| Характеристика | Fern 0.1 | Kimi-K3 | GLM-5.3 |
|---|---|---|---|
| Разработчик | Mirendil | Moonshot AI | Z.ai |
| Всего параметров | от 0,1 до 0,5 трлн | 2,8 трлн | 753 млрд |
| Активные параметры | Не раскрываются | 104 млрд | ~40 млрд |
| Контекст | До 10 млн токенов | 1 048 576 токенов | 1 048 576 токенов |
| Входные данные | Текст, код | Текст, изображения, видео | Текст |
| Лицензия | Не раскрывается | Лицензия Kimi K3 | Лицензия GLM-5.3 |
| Веса | Не опубликованы | Открытые | Открытые |
| Доступ | Запрос раннего доступа | Открытые веса, API | Открытые веса, API |
| SWE-Bench Verified* | 73.4 | 93.4 | 95.4 |
| Бит на байт при 1 млн байт* | 0.165 | 0.140 | 0.170 |
*Показатели из графиков в объявлении Mirendil.
Основные выводы
- Fern 0.1 поддерживает до 10 млн токенов — около 23 МБ кода.
- Количество бит на байт продолжает снижаться до 0,155 при размере окна 23 млн байт.
- Результат извлечения одного ключевого фрагмента в RULER сохраняется на уровне 100% от 32 тыс. до 10 млн токенов.
- В агентном программировании модель отстаёт: 6,1% в Terminal Bench 4.0.
- Базовая модель создана одним исследователем вместе с агентами менее чем за 10 млн долларов.
Ознакомьтесь с объявлением о Fern, публикацией о предварительном обучении Mirendil-Base и подайте заявку на ранний доступ. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы пользуетесь Telegram? теперь вы также можете присоединиться к нам в Telegram.
Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы на Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.