Mirendil пуска Fern 0.1, първия си модел, с контекст от 10 млн. токена
Mirendil пусна Fern, своя първи AI модел. Mirendil Fern е кодиращ модел, обучен от нулата, с контекстен прозорец до 10 млн. токена. Mirendil обяснява, че това се равнява на около 23 MB код или приблизително половин милион реда. Това е кодова база с мащаба на Megatron-LM, която може да бъде задържана в контекста едновременно. Fern 0.1 е първата версия, изградена върху Mirendil-Base след кратък етап на дообучаване. За разработчиците това означава, че могат да заредят наведнъж цяло хранилище, пълен журнал на обучението или многодневни следи от работата на агента.
Накратко
- Размер: 0,1 до 0,5 трлн. параметъра (точният брой и активните параметри не са обявени); контекст до 10 млн. токена.
- Работи на: само чрез хостван ранен достъп; не са обявени отворени тегла или квантизирани версии.
- Производителност: силно извличане от дълъг контекст, средни резултати при агентно кодиране спрямо модели с отворени тегла, значително по-слаби резултати от водещите модели.
- Най-добро: 100% при извличане на единична игла в RULER при всяка дължина от 32 хил. до 10 млн. токена (базов модел).
- Най-слабо: 6,1% в Terminal Bench 4.0 спрямо 66,4% за Claude Opus 5.5 в собствената таблица на Mirendil.
Какво представлява Mirendil Fern?
Fern е езиков модел от Mirendil, лаборатория за изследвания и разработки в областта на AI.
Fern е предназначен за работа по AI изследвания и разработки, а не за общ чат. Mirendil посочва 6 целеви приложения:
- Работа с по-големи кодови бази
- Агентно кодиране, при което се изпълняват команди, докато тестовете преминат
- Изследователски код: цикли на обучение, конвейери за данни и оценки
- Отстраняване на грешки в процесите на обучение чрез дълги журнали и стекове на извикванията
- Четене на пълни следи от работата на агенти или обучението от начало до край
- Одитиране на фрагменти от данните за предварително обучение за дубликати, замърсяване и неподходящо съдържание
Как е създаден Fern?
Fern е базиран на Mirendil-Base, който според Mirendil е бил предварително обучен от един изследовател за 3,5 месеца. Общите изчислителни разходи са под 10 млн. долара, включително експериментите, разходите за токени на агентите и обработката на данни. AI агентите са написали над 99% от кода. Изследователят е избирал какво да бъде изпробвано и кога да се намеси.
Данните за обучение са взети единствено от публични източници: GitHub, публичен код, уебстраници и публични набори от данни. Mirendil посочва, че не е използвана дистилация, синтетични данни или лицензирани данни. Кодът е написан от нулата с PyTorch и JAX.
Fern е най-малкият от 3 планирани модела. Mirendil-Base-Large (0,5 до 2 трлн. параметъра) е преминал над 80% от предварителното обучение. Mirendil-Base-XL (2 до 10 трлн.) е преминал над 20%.
Помага ли действително по-дългият контекст?
Mirendil е тествал предсказването на следващия токен в собствените си хранилища, обединени в поток от 42,9 MB. Измерената кръстосана ентропия е в битове на байт, като по-ниската стойност е по-добра. Размерите на прозорците тук са измерени в байтове, а не в токени.
Загубата на Fern спада от 0,246 при прозорец от 32 хил. байта до 0,155 при 16 млн. и 23 млн. байта. Останалите модели са оценени до около 1 млн. токена — обявения от тях лимит. При прозорец от 1 млн. байта Kimi-K3 постига 0,140, а Fern — 0,165. Следователно Fern не е най-добрият предиктор при еднакъв контекст. Предимството му е, че кривата продължава отвъд момента, в който останалите модели спират.
Как се представя Fern в RULER?
RULER е стандартен бенчмарк за дълъг контекст. Mirendil е изпълнил 5 задачи от RULER върху Mirendil-Base — модела преди дообучаването. Използвани са жадно декодиране, изключено мислене и точно съвпадение на низове.
| Задача в RULER | 32K | 1M | 4M | 10M |
|---|---|---|---|---|
| Единична игла | 100 | 100 | 100 | 100 |
| Извличане с множество ключове | 100 | 98 | 98 | 90 |
| Множество ключове, всички игли | 100 | 100 | 100 | 100 |
| Проследяване на променливи | 100 | 95 | 75 | 100 |
| Въпроси и отговори с множество стъпки (HotpotQA) | 65 | 65 | 60 | 45 |
Извличането се запазва на добро ниво. Разсъждението с множество стъпки спада до 45% при 10 млн. Всеки ред за 10 млн. използва само 20 примера спрямо 100 във всички останали случаи. Mirendil посочва, че предстоят по-широки резултати за дълъг контекст.
Как се представя Fern 0.1 на бенчмарковете за агентни системи?
Mirendil сравнява Fern 0.1 с модели с отворени тегла и водещи модели. Резултатите за останалите модели са взети от картите на моделите, класации или собствени тестове на Mirendil.
| Бенчмарк (процент преминали) | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 44.2 | 67.3 | 66.9 | 74.2 |
| Terminal Bench 4.0 | 6.1 | 12.6 | 41.9 | 66.4 |
| SWE Atlas QnA | 53.2 | 66.1 | 59.4 | 66.4 |
| SWE-Pro v2 Hard | 76.5 | 88.2 | 84.3 | 100.0 |
| SWE-Bench Verified | 73.4 | 93.4 | 95.4 | 98.2 |
Fern 0.1 изпреварва Inkling и Nemotron 3 Ultra в 4 от 5 теста. Той постига равен резултат с Beam в SWE-Pro v2 Hard — 76,5. Изостава от Beam в SWE-Bench Verified — 73,4 спрямо 81,6. Всеки водещ модел и голям модел с отворени тегла в таблицата го изпреварва.
Как се сравнява Fern със сходни модели?
| Характеристика | Fern 0.1 | Kimi-K3 | GLM-5.3 |
|---|---|---|---|
| Разработчик | Mirendil | Moonshot AI | Z.ai |
| Общ брой параметри | 0,1 до 0,5 трлн. | 2,8 трлн. | 753 млрд. |
| Активни параметри | Не са обявени | 104 млрд. | ~40 млрд. |
| Контекст | До 10 млн. токена | 1 048 576 токена | 1 048 576 токена |
| Вход | Текст, код | Текст, изображение, видео | Текст |
| Лиценз | Не е обявен | Лиценз Kimi K3 | Лиценз GLM-5.3 |
| Тегла | Не са публикувани | Отворени | Отворени |
| Достъп | Заявка за ранен достъп | Отворени тегла, API | Отворени тегла, API |
| SWE-Bench Verified* | 73.4 | 93.4 | 95.4 |
| Битове на байт при 1 млн. байта* | 0.165 | 0.140 | 0.170 |
*Данни от графиките в съобщението на Mirendil.
Основни изводи
- Fern 0.1 поддържа до 10 млн. токена, което се равнява на около 23 MB код.
- Битовете на байт продължават да спадат до 0,155 при прозорец от 23 млн. байта.
- Единичната игла в RULER остава на 100% от 32 хил. до 10 млн. токена.
- Агентното кодиране изостава: 6,1% в Terminal Bench 4.0.
- Базовият модел е създаден от 1 изследовател и агенти за под 10 млн. долара.
Вижте съобщението за Fern, публикацията за предварителното обучение на Mirendil-Base и заявете ранен достъп. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.
Имате нужда от партньор за популяризирането на вашето GitHub хранилище ИЛИ страница в Hugging Face ИЛИ пускане на продукт ИЛИ уебинар и т.н.? Свържете се с нас
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.