Zyphra AI представляє Zyphra Hierarchical Attention (ZHA): шлях до справжньої субквадратичної уваги

Zyphra випустила Zyphra Hierarchical Attention (ZHA) — метод розрідженої уваги, побудований на індексаторі з деревоподібною структурою. ZHA усуває відому проблему розрідженої уваги: індексатор, який обирає токени, усе одно сканує весь контекст. У технічній статті Zyphra показано, що ZHA можна дистилювати у заморожені попередньо навчені моделі приблизно на 4 млрд токенів. На Qwen3.6-35B-A3B метод зберігає близькі до щільної уваги результати на тестах міркування, агентного програмування та пошуку в контексті 256K.

Коротко

Розмір: Метод додає до Qwen3.6-35B-A3B 81 920 параметрів, що навчаються (приблизно 0,00024%). Протестовано контекст до 256K.
Запуск: Метод адаптує заморожені попередньо навчені моделі після прогрівання KL на 4 млрд токенів із контекстом 32K. Прискорення отримано з модельованої roofline-оцінки для H100 у BF16. Оптимізовані ядра не випущено. Також протестовано варіант маршрутизатора FP4.
Продуктивність: Результати відстають від щільної уваги лише на кілька пунктів на 7 тестах із міркування, програмування та пошуку.
Найкращий результат: LongBench v2 досягає 63,4% (глибоке дерево) проти 58,0% для щільної уваги, використовуючи близько 1,1% ключів.
Найгірший результат: На Nemotron-3.5-Lightning-30B-A3B, що базується на NoPE, RULER-13 із глибоким деревом падає на 25,3 пункту нижче за щільну увагу.

Що таке Zyphra Hierarchical Attention (ZHA)?

ZHA — метод розрідженої уваги від Zyphra, який знаходить релевантні ключі шляхом пошуку в дереві. Він зберігає повний KV-кеш. Дерево лише визначає, які кешовані ключі читає кожен запит.

Методи з фіксованим станом, як-от SSM і ковзні вікна, насичуються на довгих контекстах. Тонкозернисті методи розрідження, як-от DeepSeek Sparse Attention, оцінюють кожен попередній токен за допомогою індексатора. Фінальна увага є розрідженою, але індексатор усе одно масштабується разом із повним контекстом.

За довжини майже 1 млн токенів, згідно з цитованими дослідженнями, індексація займає від 60 до 90% часу роботи шару. ZHA робить сам пошук розрідженим.

Як працює деревоподібний індексатор ZHA?

Побудова дерева

ZHA ділить ключі на суміжні блоки та стискає кожен блок у ключ-резюме. Резюме групуються й стискаються знову — рівень за рівнем. За розміру блока 4 шість рівнів охоплюють 4096 токенів на один вузол верхнього рівня.

Резюме створюються з невеликого набору навчених еталонних запитів. Кожен еталонний запит дає оцінку маси логарифмічної уваги блока в дотичній площині. Максимум за цими площинами приблизно показує, яку частку уваги будь-який майбутній запит приділить блоку.

Як маршрутизація top-p обирає токени?

Під час декодування запит оцінює вузли верхнього рівня. Він залишає найменший набір, що містить частку p оціненої маси уваги. Потім розгортає лише дочірні вузли цього набору й повторює процес, доки не досягне необроблених записів KV.

Top-p робить бюджет адаптивним. Пошук одного факту проходить через небагато гілок. Запит, якому потрібно багато розрізнених фактів, розгортає більше гілок. Перший токен завжди зберігається як стікер уваги.

Як ZHA працює порівняно зі щільною увагою та MSA?

Команда Zyphra адаптувала Qwen3.6-35B-A3B за допомогою 2 дерев: глибокого (блок 4, 6 рівнів) і широкого (блок 256, 1 рівень). Обидва використовують 16 еталонних запитів і p = 0,95. Також було навчено індексатор MiniMax Sparse Attention (MSA) на 40 млрд токенів — у 10 разів більше за бюджет ZHA.

Тест (Qwen3.6-35B-A3B)	Щільна	ZHA глибоке	ZHA широке	MSA
AIME 2026	93.1	91.2	90.8	91.7
SWE-bench Verified	67.4	67.4	68.4	63.6
Terminal-Bench 2.1	49.9	46.7	53.3	46.1
MMLU-Pro	84.9	85.3	85.2	85.3
GPQA Diamond	84.8	85.0	85.0	83.1
RULER-13 (256K)	96.0	93.3	96.2	77.1
LongBench v2 (міркування)	58.0	63.4	62.4	49.3

Джерело: arXiv 2610.42112, рисунок 5. Усі числа надані самою Zyphra.

Найбільший розрив спостерігається в пошуку. На RULER-13 результат MSA падає до 77,1%, тоді як обидва дерева ZHA залишаються вище 93%. На LongBench v2 глибоке дерево та MSA читають подібну частку ключів (1,1% проти 1%). Глибоке дерево набирає на 14,1 пункту більше.

У 28 геометріях дерев точність RULER залишалася стабільною за використання від 10 до 30% ключів. За фіксованого стиснення глибші дерева зберігали точність за більшої розрідженості. Модель із 4 параметрами прогнозує точність RULER за геометрією із середньоквадратичною помилкою 1,44 пункту.

Back</button><button class="btn pri" id="znext">Наступний крок

</button><button class="btn" id="zplay">Автовідтворення</button><div class="dots" id="zdots"></div></div> </div></div> <div class="pn" id="zp2"><div class="box"> <div class="sel" id="zbsel"></div> <div id="zbars"></div> <p class="note">Qwen3.6-35B-A3B, p = 0,95, R = 16. Глибоке дерево = блок 4, 6 рівнів. Широке дерево = блок 256, 1 рівень. MSA = 16 найкращих блоків по 128, навчено на 40 млрд токенів. Дані надані Zyphra.</p> </div></div> <div class="pn" id="zp3"><div class="box"> <div class="sel" id="zksel"></div> <div id="zkbars"></div> <p class="note">Частка ключів KV, до яких звертаються під час декодування. Менше означає більшу розрідженість. Top-p дає змогу глибокому дереву читати набагато менше ключів під час пошуку, ніж під час розподілених завдань міркування.</p> </div></div> <div class="pn" id="zp4"><div class="box"> <svg id="zlat" viewBox="0 0 800 300" role="img" aria-label="Модельована затримка декодування залежно від довжини послідовності"></svg> <div class="grid2" style="margin-top:10px"> <div class="kpi"><div class="n">~48K</div><div class="t">токенів, за яких модельований ZHA випереджає щільну увагу</div></div> <div class="kpi"><div class="n">~0,48M</div><div class="t">токенів, за яких модельований ZHA випереджає MSA</div></div> <div class="kpi"><div class="n">373–417x</div><div class="t">прогнозоване прискорення порівняно зі щільною увагою на 1 млрд токенів</div></div> <div class="kpi"><div class="n">52–58x</div><div class="t">прогнозоване прискорення порівняно з MSA на 1 млрд токенів</div></div> </div> <p class="note">Roofline-модель: H100, BF16, 1 шар, розмір пакета 1, ZHA R = 1, C = 8, p = 0,75. Ядра не вимірювалися. Криві схематичні, прив’язані до наведених точок перетину.</p> </div></div> <div class="pn" id="zp5"><div class="lim" id="zlim"> <div class="li"><b>Прискорення змодельовані, а не виміряні.</b><div class="d">Zyphra не випустила оптимізованих ядер. Затримка понад 256K отримана з roofline-прогнозу. За 256K фронтальні налаштування моделюють лише прискорення від 1,93x до 2,28x порівняно зі щільною увагою.</div></div> <div class="li"><b>Моделі NoPE втрачають точність пошуку.</b><div class="d">На Nemotron-3.5-Lightning-30B-A3B результат RULER-13 за p = 0,95 падає на 25,3 пункту (глибоке дерево) і 10,2 пункту (широке дерево) нижче за щільну увагу.</div></div> <div class="li"><b>Top-p має масштабуватися з глибиною.</b><div class="d">Фіксований p на кожному рівні зменшує ефективне охоплення в міру поглиблення дерев. Надто високий p усуває обрізання й повертає квадратичну вартість.</div></div> <div class="li"><b>Малі моделі мають труднощі.</b><div class="d">Моделі з менш ніж 1 млрд параметрів погано адаптувалися. Результати різко покращилися на моделях від 4 млрд параметрів.</div></div> <div class="li"><b>Падіння на Terminal-Bench 2.1.</b><div class="d">Глибоке дерево набирає 46,7% проти 49,9% для щільної уваги. Широке дерево набирає 53,3%.</div></div> </div><p class="note">Натисніть картку, щоб розгорнути.</p></div> <div class="ft"><span>Джерела: <a href="https://arxiv.org/abs/2610.42112" target="_blank" rel="noopener">arXiv 2610.42112</a> · <a href="https://zyphra.com/our-work/zyphra-hierarchical-attention" target="_blank" rel="noopener">блог Zyphra</a></span><span class="mtp">© Marktechpost</span></div> <script> (function(){ var R=document.getElementById('mtp-zha'); function post(){try{parent.postMessage({mtpH:R.offsetHeight+40,type:'mtp-zha-h'},'*')}catch(e){}} R.querySelectorAll('.tb').forEach(function(b){b.addEventListener('click',function(){ R.querySelectorAll('.tb').forEach(function(x){x.classList.remove('on')});b.classList.add('on'); R.querySelectorAll('.pn').forEach(function(x){x.classList.remove('on')}); R.querySelector('#z'+b.dataset.p).classList.add('on'); if(b.dataset.p==='p2')drawB();if(b.dataset.p==='p3')drawK();if(b.dataset.p==='p4')drawL(); setTimeout(post,60);setTimeout(post,500);});}); /* ---------- дерево ---------- */ var NS='http://www.w3.org/2000/svg',T=R.querySelector('#ztree'); function el(n,a,p){var e=document.createElementNS(NS,n);for(var k in a)e.setAttribute(k,a[k]);(p||T).appendChild(e);return e} var L3=[],L2=[],L1=[],ED=[]; var y3=40,y2=125,y1=205,y0=270; for(var i=0;i<4;i++){L3.push({x:100+i*200,y:y3});} for(var i=0;i<16;i++){L2.push({x:40+i*48,y:y2,p:Math.floor(i/4)});} for(var i=0;i<64;i++){L1.push({x:28+i*11.7,y:y1,p:Math.floor(i/4)});} L2.forEach(function(n,i){ED.push({a:L3[n.p],b:n,lv:2,ci:i,pi:n.p})}); L1.forEach(function(n,i){ED.push({a:L2[n.p],b:n,lv:1,ci:i,pi:n.p})}); ED.forEach(function(e){e.el=el('line',{x1:e.a.x,y1:e.a.y,x2:e.b.x,y2:e.b.y,stroke:'#2a2a2a','stroke-width':1,class:'edge'})}); var kv=[];for(var i=0;i<64;i++){kv.push(el('rect',{x:24+i*11.7,y:y0-8,width:8,height:16,rx:2,fill:'#222',class:'node'}))} L1.forEach(function(n){n.el=el('circle',{cx:n.x,cy:n.y,r:4,fill:'#333',class:'node'})}); L2.forEach(function(n){n.el=el('circle',{cx:n.x,cy:n.y,r:8,fill:'#333',class:'node'})}); L3.forEach(function(n){n.el=el('circle',{cx:n.x,cy:n.y,r:14,fill:'#333',class:'node'})}); ['Рівень 3','Рівень 2','Рівень 1','KV-кеш'].forEach(function(t,i){var t1=el('text',{x:4,y:[y3,y2,y1,y0][i]-20,fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});t1.textContent=t;}); var q=el('g',{});var qc=el('circle',{cx:400,cy:-30,r:13,fill:'#E7620F'},q);var qt=el('text',{x:400,y:-26,'text-anchor':'middle','font-size':12,'font-weight':700,fill:'#0A0A0A','font-family':'Inter,sans-serif'},q);qt.textContent='q'; var K3=[1],K2=[5,6],K1=[21,22,25],keep0={};K1.forEach(function(c){for(var j=0;j<4;j++)keep0[c*4+j]=1}); var C={off:'#333',sc:'#5a3a22',kp:'#E7620F',e:'#2a2a2a',ek:'#E7620F'}; var caps=[ '<b>Крок 1 · Побудова.</b> Необроблені ключі групуються в блоки. Кожен блок стискається в ключі-резюме за допомогою 16 навчених еталонних запитів. Резюме стискаються знову, рівень за рівнем.', '<b>Крок 2 · Оцінювання верхнього рівня.</b> Новий запит оцінює лише резюме верхнього рівня, а не кожен токен.', '<b>Крок 3 · Обрізання top-p.</b> Зберігається найменший набір вузлів, що містить частку p оціненої маси уваги. Решта відкидається як цілі області.', '<b>Крок 4 · Спуск.</b> Оцінюються лише дочірні вузли збережених вузлів. Гілки можуть розташовуватися далеко одна від одної в контексті.', '<b>Крок 5 · Застосування уваги.</b> Точна увага працює над обраними необробленими записами KV, а також над першим токеном (стікачем) і поточним блоком. Повний KV-кеш усе одно зберігається.']; var st=0,dots=R.querySelector('#zdots');caps.forEach(function(){var d=document.createElement('span');d.className='dot';dots.appendChild(d)}); function paint(){ var all=[].concat(L3,L2,L1);all.forEach(function(n){n.el.setAttribute('fill',C.off);n.el.setAttribute('opacity',1)}); ED.forEach(function(e){e.el.setAttribute('stroke',C.e);e.el.setAttribute('opacity',1)}); kv.forEach(function(k,i){k.setAttribute('fill','#222')}); qc.setAttribute('cy',-30);qt.setAttribute('y',-26); if(st===0){all.forEach(function(n){n.el.setAttribute('fill','#4a4a46')});kv.forEach(function(k){k.setAttribute('fill','#5a5a56')});} if(st>=1){qc.setAttribute('cy',14);qt.setAttribute('y',18);L3.forEach(function(n){n.el.setAttribute('fill',C.sc)});} if(st>=2){L3.forEach(function(n,i){if(K3.indexOf(i)>=0)n.el.setAttribute('fill',C.kp);else n.el.setAttribute('opacity',.35)});} if(st>=3){L2.forEach(function(n,i){if(K3.indexOf(n.p)>=0)n.el.setAttribute('fill',K2.indexOf(i)>=0?C.kp:C.sc);else n.el.setAttribute('opacity',.25)}); ED.forEach(function(e){if(e.lv===2&&K3.indexOf(e.pi)>=0&&K2.indexOf(e.ci)>=0)e.el.setAttribute('stroke',C.ek);}); L1.forEach(function(n,i){if(K2.indexOf(n.p)>=0)n.el.setAttribute('fill',K1.indexOf(i)>=0?C.kp:C.sc);else n.el.setAttribute('opacity',.25)}); ED.forEach(function(e){if(e.lv===1&&K2.indexOf(e.pi)>=0&&K1.indexOf(e.ci)>=0)e.el.setAttribute('stroke',C.ek);});} if(st>=4){kv.forEach(function(k,i){if(keep0[i]||i===0||i>=60)k.setAttribute('fill',i===0||i>=60?'#F4F4F2':C.kp);else k.setAttribute('fill','#1a1a1a')});} R.querySelector('#zcap').innerHTML=caps[st]; dots.querySelectorAll('.dot').forEach(function(d,i){d.classList.toggle('on',i===st)}); } var tm=null; R.querySelector('#znext').onclick=function(){st=(st+1)%caps.length;paint()}; R.querySelector('#zprev').onclick=function(){st=(st+caps.length-1)%caps.length;paint()}; R.querySelector('#zplay').onclick=function(){var b=this;if(tm){clearInterval(tm);tm=null;b.textContent='Автовідтворення';return}b.textContent='Пауза';tm=setInterval(function(){st=(st+1)%caps.length;paint()},2200)}; paint(); /* ---------- бенчмарки ---------- */ var BD={'AIME 2026':[93.1,91.2,90.8,91.7],'SWE-bench Verified':[67.4,67.4,68.4,63.6],'Terminal-Bench 2.1':[49.9,46.7,53.3,46.1],'MMLU-Pro':[84.9,85.3,85.2,85.3],'GPQA Diamond':[84.8,85.0,85.0,83.1],'RULER-13 (256K)':[96.0,93.3,96.2,77.1],'LongBench v2':[58.0,63.4,62.4,49.3]}; var SN=['Щільна','ZHA глибоке','ZHA широке','MSA'],SC=['#6b6b6b','#E7620F','#f2b27a','#4a7bd0']; var cb='RULER-13 (256K)'; function chips(id,keys,cur,fn){var w=R.querySelector(id);w.innerHTML='';keys.forEach(function(k){var c=document.createElement('button');c.className='chip'+(k===cur?' on':'');c.textContent=k;c.onclick=function(){fn(k)};w.appendChild(c)})} function bars(id,names,vals,cols,max,suf){var w=R.querySelector(id);w.innerHTML='';names.forEach(function(n,i){var r=document.createElement('div');r.className='row';r.innerHTML='<span class="lbl">'+n+'</span><div class="trk"><div class="bar" style="background:'+cols[i]+'"></div></div><span class="val">'+(suf==='%'&&vals[i]>=10?vals[i].toFixed(1):vals[i])+suf+'</span>';w.appendChild(r)}); requestAnimationFrame(function(){requestAnimationFrame(function(){w.querySelectorAll('.bar').forEach(function(b,i){b.style.width=Math.max(1.5,vals[i]/max*100)+'%'})})})} function drawB(){chips('#zbsel',Object.keys(BD),cb,function(k){cb=k;drawB()});bars('#zbars',SN,BD[cb],SC,100,'%')} var KD={'AIME 2026':[5.7,47,8.7],'MMLU-Pro':[16,81,85],'GPQA Diamond':[9,60,21],'RULER-13 (256K)':[2.8,42,0.76],'LongBench v2':[1.1,21,1]}; var ck='RULER-13 (256K)'; function drawK(){chips('#zksel',Object.keys(KD),ck,function(k){ck=k;drawK()});bars('#zkbars',['ZHA глибоке','ZHA широке','MSA'],KD[ck],['#E7620F','#f2b27a','#4a7bd0'],100,'%')} /* ---------- затримка ---------- */ var LT=R.querySelector('#zlat'); function drawL(){LT.innerHTML='';var x0=60,x1=780,yb=260,yt=20; function X(l){return x0+(l-3)/6*(x1-x0)}function Y(l){return yb-(l+2)/5*(yb-yt)} function e(n,a){var t=document.createElementNS(NS,n);for(var k in a)t.setAttribute(k,a[k]);LT.appendChild(t);return t} for(var i=3;i<=9;i++){e('line',{x1:X(i),y1:yt,x2:X(i),y2:yb,stroke:'#1f1f1f'});var t=e('text',{x:X(i),y:yb+18,'text-anchor':'middle',fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});t.textContent='10^'+i;} var t2=e('text',{x:x0-8,y:yt+4,'text-anchor':'end',fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});t2.textContent='повільніше';var t3=e('text',{x:x0-8,y:yb,'text-anchor':'end',fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});t3.textContent='швидше'; var lab=e('text',{x:(x0+x1)/2,y:yb+36,'text-anchor':'middle',fill:'#9a9a96','font-size':11,'font-family':'Inter,sans-serif'});lab.textContent='Довжина послідовності (токени, логарифмічна шкала)'; function curve(f,col,dash,name,ly){var d='';for(var l=3;l<=9;l+=.05){d+=(d?'L':'M')+X(l).toFixed(1)+' '+Y(f(l)).toFixed(1)}var p=e('path',{d:d,fill:'none',stroke:col,'stroke-width':3,'stroke-dasharray':dash||''});var len=p.getTotalLength();if(!dash){p.style.strokeDasharray=len;p.style.strokeDashoffset=len;p.getBoundingClientRect();p.style.transition='stroke-dashoffset 1.4s ease';p.style.strokeDashoffset=0;}var tt=e('text',{x:X(9)-14,y:ly,'text-anchor':'end',fill:col,'font-size':12,'font-weight':700,'font-family':'Inter,sans-serif'});tt.textContent=name;} var c48=Math.log10(48000),c48m=Math.log10(480000); function zha(l){return -1.35+0.1*(l-3)+0.035*(l-3)*(l-3)} function dense(l){return Math.max(-1.75,zha(c48)+0.85*(l-c48))} function msa(l){return Math.max(-1.6,zha(c48m)+0.75*(l-c48m))} curve(dense,'#9a9a96','5 5','Щільна',Y(dense(9))-10);curve(msa,'#4a7bd0','8 4','MSA',Y(msa(9))-10);curve(zha,'#E7620F','','ZHA',Y(zha(9))+20); [[c48,'~48K'],[c48m,'~0,48M']].forEach(function(c){e('line',{x1:X(c[0]),y1:yt,x2:X(c[0]),y2:yb,stroke:'#E7620F','stroke-opacity':.5,'stroke-dasharray':'2 4'});var t=e('text',{x:X(c[0])+4,y:yt+12,fill:'#ff8a3d','font-size':11,'font-family':'Inter,sans-serif'});t.textContent=c[1];}); } /* ---------- застереження ---------- */ R.querySelectorAll('.li').forEach(function(li){li.addEventListener('click',function(){li.classList.toggle('open');setTimeout(post,30)})}); window.addEventListener('load',post);setTimeout(post,200);setTimeout(post,1200); })(); </script> </div> </body></html>" style="width:100%;max-width:880px;height:600px;border:0;display:block;margin:0 auto;overflow:hidden" scrolling="no" loading="lazy">

Наскільки швидкий ZHA?

Zyphra не випустила ядер. Компанія змоделювала затримку декодування для одного шару з розміром пакета 1 за допомогою roofline-моделі. Полегшене налаштування використовує 1 еталонний запит, блок 8 і p = 0,75.

У цій моделі ZHA випереджає щільну увагу приблизно на 48K токенів, а MSA — приблизно на 0,48 млн токенів. На 1 млрд токенів прогнозоване прискорення досягає 373–417x порівняно зі щільною увагою та 52–58x порівняно з MSA. У публікації в блозі також наведено показники 32–35x і 4,7–5,1x на 10 млн токенів.

На 256K модельовані переваги помірні. Налаштування на фронті Парето дають прискорення 1,93–2,28x порівняно зі щільною увагою за результату RULER-13 від 92,7 до 96,4%. Маршрутизація та відбір мають власну вартість.

Як ZHA навчається на наявних моделях?

Базова модель залишається замороженою. Навчаються лише еталонні запити. Втрати KL узгоджують масу щільної уваги для кожного блока на кожному рівні. Запуски Qwen і Nemotron використовували 3,98 млрд токенів протягом 1900 кроків із контекстом 32K.

Zyphra повідомляє, що моделі з менш ніж 1 млрд параметрів мали труднощі під час адаптації. Результати різко покращилися на моделях від 4 млрд параметрів.

ZHA проти MSA, DSA та NSA

Характеристика	ZHA (Zyphra)	MSA (MiniMax)	DSA (DeepSeek)	NSA (DeepSeek)
Індексатор	Багаторівневе дерево стиснених ключів	Плоский індексатор блоків для кожної групи GQA	Lightning-індексатор на рівні токенів	Стиснення + відбір + ковзне вікно
Правило відбору	Top-p на кожному рівні (адаптивне)	16 найкращих блоків по 128 токенів	2048 найкращих токенів	16 блоків по 64 токени, вікно 512
Вартість індексатора	Сублінійна для кожного запиту (за твердженням авторів)	Квадратична гілка індексації	Оцінює кожен кешований ключ	Не розкрито
Додано до попередньо навченої моделі	Так, ~4 млрд токенів, основа заморожена	Так, CPT на 400 млрд токенів	Продовження навчання V3.1-Terminus	Нативне попереднє навчання
Найбільша представлена модель	35B MoE (Qwen3.6-35B-A3B)	109B MoE, 6B активних	685B MoE	27B MoE, ~3B активних
Заявлене прискорення	Лише модельоване (roofline H100)	14,2x для попереднього заповнення, 7,6x для декодування на 1M (H800)	Не розкрито	Прискорення на 64K, лише на рисунку

Основні висновки

ZHA шукає в KV-кеші за допомогою дерева, а не плоского сканування.
На замороженій моделі з 35 млрд параметрів навчаються лише 81 920 параметрів.
Широке дерево досягає 96,2% на RULER-13 із контекстом 256K проти 96,0% для щільної уваги.
MSA падає до 77,1% на тому самому тесті RULER.
Прискорення на мільярдах токенів є прогнозами, а не вимірюваннями.

Ознайомтеся зі статтею про ZHA на arXiv та технічним блогом Zyphra. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого 150k+ ML SubReddit та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібна допомога з просуванням вашого репозиторію GitHub, сторінки Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.