Nanbeige выпустила Nanbeige4.3-33B — открытую агентную модель для программирования с 33B параметров
Лаборатория Nanbeige LLM Lab выпустила Nanbeige4.3-33B на Hugging Face по лицензии Apache 2.0. Nanbeige4.3-33B — это плотная языковая модель с 33 млрд параметров, созданная для агентного программирования и офисных задач в стиле «cowork». Лаборатория работает внутри рекрутинговой платформы BOSS Zhipin. Также она опубликовала Nanbeige4.3-33B-Base для дополнительного обучения под конкретные задачи. Модель поддерживает контекстное окно размером 524 288 токенов. В собственной таблице лаборатории она опережает 3 открытые модели с примерно 30 млрд параметров в 17 из 20 тестов.
Кратко
- Размер: 33 млрд параметров, плотная модель (без MoE), контекст размером 524 288 токенов (512K), веса BF16.
- Запуск: серверы с несколькими GPU. В рецептах SGLang и vLLM из карточки используется тензорный параллелизм 4-го порядка. Для весов BF16 требуется около 66 ГБ (по нашим расчётам). Указана 1 пользовательская квантизация.
- Производительность: лидирует в 17 из 20 строк собственного сравнения Nanbeige с Qwen3.8-27B, Muse-Glimmer-30B и Gemma4-31B.
- Лучший результат: 80,9 на Terminal-Bench 2.1 против 73,0 у Qwen3.8-27B.
- Худший результат: 23,8 на Terminal-Bench 4.0 (её самый низкий балл). Она также уступает Qwen3.8-27B на SWE-Bench Pro: 60,3 против 61,7.
Что такое Nanbeige4.3-33B?
Nanbeige4.3-33B — флагманская модель-«учитель» серии Nanbeige4.3. Заявленная стратегия лаборатории заключается в том, чтобы сначала создать сильную модель-учителя. Затем планируется дистиллировать агентные навыки в модели меньшего размера, начиная с Nanbeige4.3-3B.
Как создана Nanbeige4.3-33B?
В файле config.json заявлена стандартная архитектура LlamaForCausalLM. Маршрутизации между экспертами нет, поэтому все 33 млрд параметров задействуются для каждого токена.
- 52 слоя, размер скрытого состояния 7 168
- 56 голов запросов и 8 голов ключей-значений (внимание с группировкой запросов), размерность головы 128
- Промежуточный размер FFN 22 016, словарь из 166 912 токенов
- Параметр RoPE theta равен 120 000 000, максимальное число позиций — 524 288
Шаблон чата предоставляет 3 элемента управления. enable_thinking включает рассуждение и по умолчанию активен. preserve_thinking сохраняет рассуждения из предыдущих ходов. Nanbeige рекомендует этот параметр для многошагового использования инструментов и кодовых агентов. Передача tools включает вызов инструментов, при этом рекомендуется формат вызовов в XML.
Как Nanbeige4.3-33B показывает себя в тестах?
Nanbeige сравнила модель с Qwen3.8-27B, Muse-Glimmer-30B и Gemma4-31B. Каждая модель работала с максимальным уровнем усилий при рассуждении, общими гиперпараметрами и тестовыми оболочками. Все результаты в этом разделе предоставлены самими разработчиками.
- Агентное программирование: результат на Terminal-Bench 2.1 составляет 80,9 против 73,0 у Qwen3.8-27B. Наибольший разрыв показывает DeepSWE: 65,5 против 42,5. На Terminal-Bench 4.0 результат составляет 23,8, тогда как Gemma4-31B получает 0,0.
- Агентная офисная работа: результат на Automation Bench — 54,2 против 38,3, а на JobBench — 44,8 против 34,5. На YC-bench смоделированный доход достигает 1 025 437 долларов против 641 290 долларов.
- Рассуждение: заявлены результаты 95,2 на AIME 2026 и 84,0 на AA-LCR.
Она проигрывает в 3 из 20 строк. Qwen3.8-27B лидирует на SWE-Bench Pro (61,7 против 60,3) и GDPval (86,4 против 84,8). Gemma4-31B лидирует на GPQA Diamond в таблице Nanbeige: 91,3 против 89,5.
Базовая модель превосходит Gemma4-31B-Base во всех 8 представленных задачах. Например, на MMLU-Pro результаты составляют 66,9 против 59,3, а на GPQA — 62,0 против 41,5.
</button><button class="btn ghost" id="nbgPlay">Автовоспроизведение</button></div>
<div class="spec">
<div><b>52</b><span>слоя</span></div>
<div><b>56 / 8</b><span>головы запросов / KV (GQA)</span></div>
<div><b>7 168</b><span>размер скрытого состояния</span></div>
<div><b>524 288</b><span>макс. позиций</span></div>
</div>
</div>
<div class="pane" id="p2">
<div class="seg" id="nbgSeg">
<button class="on" data-c="coding">Агентное программирование</button>
<button data-c="cowork">Агентная офисная работа</button>
<button data-c="reason">Рассуждение</button>
<button data-c="base">Базовая модель</button>
</div>
<div class="legend" id="nbgLegend"></div>
<div id="nbgBars"></div>
<p class="note">Все результаты предоставлены Nanbeige в карточках моделей на Hugging Face; для каждой модели использовался максимальный уровень усилий при рассуждении и общие тестовые оболочки. Независимая проверка не проводилась.</p>
</div>
<div class="pane" id="p3">
<div class="calc">
<div>
<div class="field"><label>Размер контекста <b id="nbgCtxL">131 072 токена</b></label><input type="range" id="nbgCtx" min="0" max="6" step="1" value="4"></div>
<div class="field"><label>Параллельные последовательности <b id="nbgSeqL">1</b></label><input type="range" id="nbgSeq" min="1" max="8" step="1" value="1"></div>
<div class="seg" id="nbgW"><button class="on" data-w="2">Веса BF16</button><button data-w="1">Веса 8-bit</button></div>
<div class="seg" id="nbgK"><button class="on" data-k="2">KV-кэш BF16</button><button data-k="1">KV-кэш FP8</button></div>
<p class="note">Расчёт по config.json: 52 слоя × 8 KV-голов × 128 измерений × 2 (K и V) × байты на значение. В BF16 это 212 992 байта (около 208 КиБ) на токен. Для весов используется 33 млрд параметров. Активации и накладные расходы фреймворка не учитываются.</p>
</div>
<div class="stack">
<div class="kv"><span>Расчётный объём памяти GPU</span></div>
<div class="total" id="nbgTot">0 ГБ</div>
<div class="stackbar"><i id="nbgBw" style="background:#5fd3bd"></i><i id="nbgBk" style="background:#7c8cf8"></i></div>
<div class="kv"><span><i style="display:inline-block;width:9px;height:9px;background:#5fd3bd;border-radius:2px"></i> Веса</span><b id="nbgWv"></b></div>
<div class="kv"><span><i style="display:inline-block;width:9px;height:9px;background:#7c8cf8;border-radius:2px"></i> KV-кэш</span><b id="nbgKv"></b></div>
<div class="kv"><span>На GPU объёмом 80 ГБ (идеальное размещение)</span><b id="nbgGpu"></b></div>
<p class="note">В рецептах SGLang и vLLM из карточки модели используется тензорный параллелизм 4-го порядка.</p>
</div>
</div>
</div>
<div class="pane" id="p4">
<table>
<tr><th>Строка в таблице Nanbeige</th><th>Указано Nanbeige</th><th>Официальная карточка</th><th></th></tr>
<tr><td>Muse-Glimmer-30B, SWE-Bench Pro</td><td class="bad">36.9</td><td>51.2 (Meta)</td><td><span class="flag">похоже, перепутаны</span></td></tr>
<tr><td>Gemma4-31B, SWE-Bench Pro</td><td class="bad">51.2</td><td>36.9 (данные Meta)</td><td><span class="flag">похоже, перепутаны</span></td></tr>
<tr><td>Gemma4-31B, GPQA Diamond</td><td class="bad">91.3</td><td>84.3 (Google)</td><td><span class="flag">расхождение</span></td></tr>
<tr><td>Muse-Glimmer-30B, Terminal-Bench 2.1</td><td class="bad">61.8</td><td>51.7 (Meta)</td><td><span class="flag">тестовая оболочка?</span></td></tr>
<tr><td>Qwen3.8-27B, GPQA Diamond</td><td>89.2</td><td>89.2 (Qwen)</td><td>совпадает</td></tr>
<tr><td>Muse-Glimmer-30B, AIME 2026</td><td>94.7</td><td>94.7 (Meta)</td><td>совпадает</td></tr>
</table>
<p class="note">Nanbeige повторно протестировала каждую модель с собственной тестовой оболочкой, что объясняет некоторые расхождения. Другие ограничения: только текстовый ввод, плотные вычисления для каждого токена, Nanbeige4.3-3B пока не выпущена.</p>
</div>
<div class="ft"><span>Источники: <a href="https://huggingface.co/Nanbeige/Nanbeige4.3-33B" target="_blank" rel="noopener">карточка модели Nanbeige</a> · <a href="https://huggingface.co/Nanbeige/Nanbeige4.3-33B-Base" target="_blank" rel="noopener">карточка базовой модели</a> · карточки конкурирующих моделей на HF</span><span class="brand">© Marktechpost</span></div>
</div>
<script>
(function(){
var R=document.getElementById('mtp-nbg43');
function resize(){try{parent.postMessage({type:'mtp-nbg43-resize',height:R.offsetHeight+40},'*')}catch(e){}}
// вкладки
R.querySelectorAll('.tab').forEach(function(t){t.addEventListener('click',function(){
R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on');
R.querySelectorAll('.pane').forEach(function(p){p.classList.remove('on')});
document.getElementById(t.dataset.p).classList.add('on');
if(t.dataset.p==='p2')drawBars(cur);
setTimeout(resize,50);setTimeout(resize,400);
})});
// процесс
var steps=[
'<b>Базовая модель.</b> Nanbeige4.3-33B-Base — это плотный чекпойнт LlamaForCausalLM. Nanbeige сообщает, что он превосходит Gemma4-31B-Base во всех 8 перечисленных задачах, например MMLU-Pro: 66.9 против 59.3.',
'<b>Агент-учитель.</b> Дообученная модель по умолчанию рассуждает (<code>enable_thinking</code>). <code>preserve_thinking</code> сохраняет предыдущие рассуждения для многошагового использования инструментов. Nanbeige рекомендует формат вызовов инструментов в XML.',
'<b>Агентная оболочка.</b> Nanbeige оценила модель в Terminus 2, mini-swe-agent v2.4.6 и оболочке Claude Code. Рекомендуемые параметры выборки агента: temperature 1.0, top_p 0.95, максимум 65 536 новых токенов.',
'<b>Дистилляция.</b> Модель с 33 млрд параметров является учителем для серии Nanbeige4.3. Первой запланированной ученической моделью станет Nanbeige4.3-3B. Дата выпуска не указана.'
];
var s=0,timer=null;
function setStep(i){s=(i+4)%4;R.querySelectorAll('.node').forEach(function(n,k){n.classList.toggle('on',k<=s)});
document.getElementById('nbgRail').style.width=((s+1)*25)+'%';document.getElementById('nbgDetail').innerHTML=steps[s];resize()}
R.querySelectorAll('.node').forEach(function(n){n.addEventListener('click',function(){stop();setStep(+n.dataset.s)})});
function stop(){if(timer){clearInterval(timer);timer=null;document.getElementById('nbgPlay').textContent='Автовоспроизведение'}}
document.getElementById('nbgNext').onclick=function(){stop();setStep(s+1)};
document.getElementById('nbgPrev').onclick=function(){stop();setStep(s-1)};
document.getElementById('nbgPlay').onclick=function(){if(timer){stop();return}this.textContent='Пауза';timer=setInterval(function(){setStep(s+1)},2200)};
setStep(0);
// столбцы
var M={n:['Nanbeige4.3-33B','#5fd3bd'],q:['Qwen3.8-27B','#7c8cf8'],m:['Muse-Glimmer-30B','#f0a35e'],g:['Gemma4-31B','#6aa9f4']};
var D={
coding:[['Terminal-Bench 2.1',80.9,73.0,61.8,47.2],['DeepSWE',65.5,42.5,4.4,2.7],['SWE-Bench Pro',60.3,61.7,36.9,51.2],['SkillsBench',61.1,56.4,39.7,28.9],['Terminal-Bench 4.0',23.8,6.3,1.6,0.0]],
cowork:[['Automation Bench',54.2,38.3,15.2,9.7],['JobBench',44.8,34.5,16.6,9.0],['GDPval',84.8,86.4,75.8,71.4],['Toolathlon-Verified',70.4,68.5,47.2,27.8],['DeepPlanning',63.3,49.2,21.4,19.4]],
reason:[['AIME 2026',95.2,94.5,94.7,89.2],['GPQA Diamond',89.5,89.2,83.5,91.3],['AA-LCR',84.0,82.0,83.3,72.0]],
base:[['MMLU-Pro',66.9,null,null,59.3],['GPQA',62.0,null,null,41.5],['GSM8K',92.9,null,null,88.9],['Math',57.3,null,null,43.6],['CMMLU',86.8,null,null,76.9]]
};
var cur='coding';
function drawBars(c){cur=c;var keys=c==='base'?['n','g']:['n','q','m','g'];
var names=c==='base'?{n:'Nanbeige4.3-33B-Base',g:'Gemma4-31B-Base'}:{};
document.getElementById('nbgLegend').innerHTML=keys.map(function(k){return '<span><i style="background:'+M[k][1]+'"></i>'+(names[k]||M[k][0])+'</span>'}).join('');
var idx={n:1,q:2,m:3,g:4},h='';
D[c].forEach(function(r){h+='<div class="bench"><div class="bn">'+r[0]+'</div>';
keys.forEach(function(k){var v=r[idx[k]];h+='<div class="brow'+(k==='n'?' me':'')+'"><span class="lb">'+(names[k]||M[k][0])+'</span><div class="track"><div class="fill" data-w="'+v+'" style="background:'+M[k][1]+'"></div></div><span class="v">'+v.toFixed(1)+'</span></div>'});
h+='</div>'});
var box=document.getElementById('nbgBars');box.innerHTML=h;
requestAnimationFrame(function(){requestAnimationFrame(function(){box.querySelectorAll('.fill').forEach(function(f){f.style.width=f.dataset.w+'%'})})});
resize();setTimeout(resize,300)}
R.querySelectorAll('#nbgSeg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#nbgSeg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');drawBars(b.dataset.c)}});
drawBars('coding');
// расчёт
var CT=[8192,16384,32768,65536,131072,262144,524288],wb=2,kb=2;
function fmt(n){return n.toLocaleString('en-US')}
function calc(){var ctx=CT[+document.getElementById('nbgCtx').value],seq=+document.getElementById('nbgSeq').value;
document.getElementById('nbgCtxL').textContent=fmt(ctx)+' токенов';document.getElementById('nbgSeqL').textContent=seq;
var w=33e9*wb/1e9,kv=52*8*128*2*kb*ctx*seq/1e9,t=w+kv;
document.getElementById('nbgTot').textContent=t.toFixed(1)+' ГБ';
document.getElementById('nbgWv').textContent=w.toFixed(1)+' ГБ';document.getElementById('nbgKv').textContent=kv.toFixed(1)+' ГБ';
document.getElementById('nbgGpu').textContent=Math.ceil(t/80)+' × 80 ГБ';
document.getElementById('nbgBw').style.width=(w/t*100)+'%';document.getElementById('nbgBk').style.width=(kv/t*100)+'%'}
['nbgCtx','nbgSeq'].forEach(function(id){document.getElementById(id).addEventListener('input',calc)});
R.querySelectorAll('#nbgW button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#nbgW button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');wb=+b.dataset.w;calc()}});
R.querySelectorAll('#nbgK button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#nbgK button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');kb=+b.dataset.k;calc()}});
calc();
window.addEventListener('load',resize);window.addEventListener('resize',resize);setTimeout(resize,200);
})();
</script>
</body></html>
" style="width:100%!important;height:600px;border:0!important;background:transparent!important;display:block;" loading="lazy">
Как это сравнивается с собственными карточками моделей конкурентов?
| Характеристика | Nanbeige4.3-33B | Qwen3.8-27B | Muse-Glimmer-30B | Gemma 4 31B |
|---|---|---|---|---|
| Разработчик | Nanbeige LLM Lab (BOSS Zhipin) | Qwen (Alibaba) | Meta Superintelligence Lab | Google DeepMind |
| Параметры | 33 млрд, плотная | 27 млрд, плотная языковая модель с энкодером зрения | ~29,6 млрд, плотная, включая ~1,8 млрд параметров энкодера зрения | 30,7 млрд, плотная |
| Контекст | 524 288 | 262 144 нативно, до 1 млн | 131 072+ | 256K |
| Модальность ввода | Текст | Текст, изображения, видео | Текст, изображения | Текст, изображения |
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Terminal-Bench 2.1 | 80,9* | 73,0 | 51,7 | Не раскрыто |
| SWE-Bench Pro | 60,3* | 61,7 | 51,2 | Не раскрыто |
| GPQA Diamond | 89,5* | 89,2 | 83,5 (AA) | 84,3 |
| AIME 2026 | 95,2* | Не раскрыто | 94,7 | 89,2 |
| Рекомендации по локальному оборудованию | Рецепт тензорного параллелизма на 4 GPU | Не раскрыто | 24 или 32 ГБ VRAM при ~4-битной квантизации | Потребительские GPU и рабочие станции |
*Данные предоставлены Nanbeige. Значения конкурентов взяты из собственных карточек моделей каждой лаборатории.
Некоторые показатели конкурентов в таблице Nanbeige отличаются от опубликованных этими лабораториями:
- Meta указывает для Muse-Glimmer-30B результат 51,2 на SWE-Bench Pro, а для Gemma4-31B — 36,9. Nanbeige приводит значения в обратном порядке.
- Google указывает для Gemma 4 31B результат 84,3 на GPQA Diamond. В таблице Nanbeige указано 91,3.
- Meta указывает для Muse-Glimmer-30B результат 51,7 на Terminal-Bench 2.1. Nanbeige получила 61,8.
Некоторые расхождения объясняются использованием разных тестовых оболочек. Пара значений для SWE-Bench Pro, по-видимому, перепутана. Считайте эти строки предварительными, пока не появятся независимые результаты.
Как развернуть Nanbeige4.3-33B?
В карточке модели приведены рецепты для Transformers, SGLang и vLLM. В примерах серверов используется тензорный параллелизм 4-го порядка с парсерами рассуждений Qwen3 и вызовов инструментов. Рекомендуемые настройки агента: temperature 1.0, top_p 0.95 и максимум 65 536 новых токенов. Для рассуждения и чата используются temperature 0.6 и максимум 262 144 новых токенов.
Согласно расчётам по config.json, для весов BF16 требуется около 66 ГБ. KV-кэш добавляет около 208 КиБ на токен в BF16. Для полной последовательности из 524 288 токенов потребуется примерно 112 ГБ KV-кэша. На момент публикации ни один провайдер Hugging Face Inference не размещает эту модель.
Главные выводы
- Плотная модель с 33 млрд параметров, Apache 2.0, контекст 512K, только текст.
- Заявленный самой компанией результат — 80,9 на Terminal-Bench 2.1 и 65,5 на DeepSWE.
- Лидирует в 17 из 20 строк собственной таблицы Nanbeige.
- Несколько показателей конкурентов расходятся с официальными карточками.
- Создана как модель-учитель для будущей Nanbeige4.3-3B.
Ознакомьтесь с весами модели, базовой моделью и публикацией о запуске в X. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? Теперь к нам можно присоединиться и в Telegram.
Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы на Hugging Face, выпуска продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.