Mirendil запустила Fern 0.1, свою першу модель, із контекстом у 10 млн токенів
Mirendil випустила Fern, свою першу модель ШІ. Mirendil Fern — це модель для програмування, створена з нуля, з контекстним вікном до 10 млн токенів. Mirendil пояснює, що це приблизно 23 МБ коду, або близько пів мільйона рядків. Це кодова база масштабу Megatron-LM, яка одночасно утримується в контексті. Fern 0.1 — перша версія, створена на основі Mirendil-Base після нетривалого донавчання. Для розробників це означає, що можна завантажити цілий репозиторій, повний журнал навчання або кілька днів трас агентів одночасно.
Коротко
- Розмір: від 0,1 до 0,5 трлн параметрів (точну кількість і кількість активних параметрів не розкрито); контекст — до 10 млн токенів.
- Працює на: лише на хостингу в рамках раннього доступу; про відкриті ваги або квантизовані збірки не оголошувалося.
- Продуктивність: сильне вилучення даних із довгого контексту, середні результати в агентному програмуванні порівняно з моделями з відкритими вагами, значно слабші результати порівняно з передовими моделями.
- Найкраще: 100% у завданні вилучення одиничної голки RULER на кожній довжині від 32 тис. до 10 млн токенів (базова модель).
- Найгірше: 6,1% у Terminal Bench 4.0 проти 66,4% у Claude Opus 5.5 у власній таблиці Mirendil.
Що таке Mirendil Fern?
Fern — це мовна модель від Mirendil, дослідницької лабораторії ШІ.
Fern призначена для роботи у сфері досліджень і розробок ШІ, а не для загального спілкування. Mirendil визначає 6 цільових напрямів використання:
- Робота з більшими кодовими базами
- Агентне програмування, під час якого виконуються команди, доки тести не пройдуть
- Дослідницький код: цикли навчання, конвеєри даних та оцінювання
- Налагодження процесів навчання за довгими журналами та трасуваннями стека
- Повне наскрізне читання трас агентів або навчання
- Аудит шардів даних для попереднього навчання на наявність дублікатів, забруднення та сміття
Як створювали Fern?
Fern базується на Mirendil-Base, яку, за словами Mirendil, один дослідник попередньо навчав протягом 3,5 місяця. Загальні обчислювальні витрати становили менше ніж 10 млн доларів, включно з експериментами, витратами токенів агентів і обробкою даних. Агенти ШІ написали понад 99% коду. Дослідник вирішував, що і коли випробовувати та коли втручатися.
Навчальні дані надходили лише з публічних джерел: GitHub, публічного коду, вебсторінок і загальнодоступних наборів даних. Mirendil стверджує, що не використовувала ані дистиляцію, ані синтетичні дані, ані ліцензовані дані. Код написали з нуля на PyTorch і JAX.
Fern — найменша з 3 запланованих моделей. Mirendil-Base-Large (від 0,5 до 2 трлн параметрів) завершила понад 80% попереднього навчання. Mirendil-Base-XL (від 2 до 10 трлн) завершила понад 20%.
Чи справді довший контекст допомагає?
Mirendil протестувала передбачення наступного токена на власних репозиторіях, об’єднаних у потік обсягом 42,9 МБ. Вона вимірювала кросентропію в бітах на байт, де менше значення є кращим. Наведені тут розміри вікна вимірюються в байтах, а не токенах.
Втрати Fern знизилися з 0,246 за розміру вікна 32 тис. байтів до 0,155 за 16 і 23 млн байтів. Інші моделі оцінювалися приблизно до 1 млн токенів — заявленої для них межі. За розміру вікна 1 млн байтів Kimi-K3 отримала 0,140, а Fern — 0,165. Отже, Fern не є найкращим предиктором за однакового контексту. Її перевага полягає в тому, що крива продовжується за межі, на яких інші моделі зупиняються.
Які результати Fern показує в RULER?
RULER — це стандартний бенчмарк для довгого контексту. Mirendil виконала 5 завдань RULER на Mirendil-Base, моделі до посттренування. Використовувалися жадібне декодування, вимкнений режим міркування та точне зіставлення рядків.
| Завдання RULER | 32 тис. | 1 млн | 4 млн | 10 млн |
|---|---|---|---|---|
| Одинична голка | 100 | 100 | 100 | 100 |
| Вилучення за кількома ключами | 100 | 98 | 98 | 90 |
| Кілька ключів, усі голки | 100 | 100 | 100 | 100 |
| Відстеження змінних | 100 | 95 | 75 | 100 |
| Багатокрокові запитання й відповіді (HotpotQA) | 65 | 65 | 60 | 45 |
Вилучення даних зберігає високі результати. Багатокрокове міркування падає до 45% за 10 млн токенів. Кожна клітинка для 10 млн використовує лише 20 прикладів, тоді як в інших випадках — 100. Mirendil повідомляє, що ширші результати для довгого контексту будуть опубліковані пізніше.
Як Fern 0.1 показує себе в агентних бенчмарках?
Mirendil порівняла Fern 0.1 з моделями з відкритими вагами та передовими моделями. Результати інших моделей взято з карток моделей, таблиць лідерів або власних запусків Mirendil.
| Бенчмарк (відсоток проходження) | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 44.2 | 67.3 | 66.9 | 74.2 |
| Terminal Bench 4.0 | 6.1 | 12.6 | 41.9 | 66.4 |
| SWE Atlas QnA | 53.2 | 66.1 | 59.4 | 66.4 |
| SWE-Pro v2 Hard | 76.5 | 88.2 | 84.3 | 100.0 |
| SWE-Bench Verified | 73.4 | 93.4 | 95.4 | 98.2 |
Fern 0.1 випереджає Inkling і Nemotron 3 Ultra у 4 із 5 тестів. Вона має такий самий результат, як Beam, у SWE-Pro v2 Hard — 76,5. У SWE-Bench Verified вона поступається Beam: 73,4 проти 81,6. Усі передові та великі моделі з відкритими вагами в таблиці випереджають її.
Як Fern порівнюється з подібними моделями?
| Характеристика | Fern 0.1 | Kimi-K3 | GLM-5.3 |
|---|---|---|---|
| Розробник | Mirendil | Moonshot AI | Z.ai |
| Загальна кількість параметрів | від 0,1 до 0,5 трлн | 2,8 трлн | 753 млрд |
| Активні параметри | Не розкрито | 104 млрд | ~40 млрд |
| Контекст | До 10 млн токенів | 1 048 576 токенів | 1 048 576 токенів |
| Вхідні дані | Текст, код | Текст, зображення, відео | Текст |
| Ліцензія | Не розкрито | Ліцензія Kimi K3 | Ліцензія GLM-5.3 |
| Ваги | Не опубліковано | Відкриті | Відкриті |
| Доступ | Запит на ранній доступ | Відкриті ваги, API | Відкриті ваги, API |
| SWE-Bench Verified* | 73.4 | 93.4 | 95.4 |
| Бітів на байт за 1 млн байтів* | 0.165 | 0.140 | 0.170 |
*Показники з графіків в оголошенні Mirendil.
Основні висновки
- Fern 0.1 підтримує до 10 млн токенів, тобто приблизно 23 МБ коду.
- Кількість бітів на байт продовжує знижуватися до 0,155 за розміру вікна 23 млн байтів.
- Одинична голка RULER зберігається на рівні 100% у діапазоні від 32 тис. до 10 млн токенів.
- В агентному програмуванні відставання: 6,1% у Terminal Bench 4.0.
- Базову модель створили 1 дослідник та агенти менш ніж за 10 млн доларів.
Ознайомтеся з оголошенням Fern, публікацією про попереднє навчання Mirendil-Base та подайте запит на ранній доступ. Також стежте за нами у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання, який має понад 150 тис. учасників, а також підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Потрібно стати нашим партнером для просування вашого репозиторію GitHub, сторінки Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.