Sakhanda Wire
NVDA $225.01 -0.07% MSFT $480.35 -3.04% GOOGL $344.00 -0.55% META $568.97 -3.54% AMZN $261.31 -0.51%
← До новин

ByteDance Seed і Tsinghua AIR представили CUDA Agent: великомасштабну агентну систему навчання з підкріпленням для генерації ядер CUDA

ByteDance Seed і Tsinghua AIR випустили CUDA Agent — агентну систему навчання з підкріпленням, яка навчає велику мовну модель писати GPU-ядра, що перевершують компілятор. Розрив, на який вона націлена, вузький, але впертий: передові моделі вже створюють коректний CUDA-код, просто цей CUDA-код працює повільно. У KernelBench базова модель Seed1.6 проходить 74,0% завдань, але випереджає torch.compile лише у 27,2% із них, демонструючи геометричне середнє прискорення 0,69×, а це означає, що в середньому її ядра повільніші за ті, які компілятор генерує самостійно. CUDA Agent усуває цей розрив, поміщаючи модель у реальне середовище розробки CUDA з профілюванням, перевірками коректності та пісочницею з обмеженими дозволами, а потім навчаючи її за допомогою PPO протягом 150 кроків із контекстом у 131 072 токени. Результат — показник проходження 98,8% і частка ядер, швидших за torch.compile, на рівні 96,8% у бенчмарку зі 250 завдань, а також 2,11× геометричного середнього прискорення над компіляцією — приблизно на 40 пунктів вище, ніж Claude Opus 4.5 і Gemini 3 Pro, на найскладнішому поділі Level 3.

Чи придатна вона до розгортання?

Частково, але навчений агент не опублікований. Він побудований на Seed1.6 — пропрієтарній MoE-моделі з 23 млрд активних і 230 млрд загальних параметрів, а стаття не містить ваг моделі. У відкритому доступі: набір даних CUDA-Agent-Ops-6K, специфікація SKILL.md, а також рецепти винагороди й розігріву.

Які компанії: Лише пісочниця профілювання використовувала 128 GPU NVIDIA H20, тому повне відтворення системи доступне передусім передовим лабораторіям, GPU-хмарам і великим інфраструктурним командам. Команди середнього розміру все одно можуть застосувати окремі компоненти — набір даних, винагороду за досягнення етапів, обмеження проти злому винагороди та специфікацію навичок — поверх відкритої базової моделі.

Галузі та застосування: AI-інфраструктура й обслуговування інференсу, GPU-хмари, автономне водіння, кількісна торгівля, медична візуалізація та рекомендаційні системи — будь-де, де об’єднані ядра перебувають на критичному для затримки шляху. Застосування включають об’єднання послідовностей операторів, з якими torch.compile працює недостатньо добре, зменшення вартості одного токена та повторне налаштування ядер для різних поколінь GPU.

Синтез даних

Дослідницька команда збирає еталонні оператори з бібліотек torch і transformers. Потім LLM вибирає до п’яти класів операторів torch і об’єднує їх в один злитий шар. Фільтр залишає лише оператори, які виконуються і в eager-, і в compile-режимі, є детермінованими, створюють неконстантні результати та працюють від 1 мс до 100 мс в eager-режимі. Зразки з подібністю AST понад 0,9 до будь-якого завдання KernelBench видаляються. Так отримано CUDA-Agent-Ops-6K: 6000 зразків, 83,77% із яких є композиціями з двох операторів.

Середовище та винагорода

Цикл роботи агента відтворює інструментарій OpenHands — Bash, Read/Write, Edit/MultiEdit, Glob, Grep, NotebookEdit, BashOutput, KillBash — у межах патерну ReAct. Інструкції CUDA надаються у форматі Agent Skills. Файл SKILL.md вказує моделі профілювати модель PyTorch, переписувати model_new.py із власними ядрами, компілювати код у GPU-пісочниці та повторювати процес, доки ядро не стане щонайменше на 5% швидшим за torch.compile при atol=1e-2, rtol=1e-2.

Злом винагороди стримується п’ятьма контрзаходами: скрипти перевірки та профілювання із заблокованими дозволами, контекстні менеджери, що забороняють резервні виклики torch.nn.functional, перевірки на п’яти випадкових вхідних даних, профілювання із синхронізацією пристрою та розігрівом, а також відсутність інструмента вебпошуку.

Винагорода є дискретною, а не сирим коефіцієнтом прискорення. r ∈ {−1, 1, 2, 3}: −1 у разі помилки коректності, 3, якщо ядро перевершує і eager, і torch.compile більш ніж на 5%, 2, якщо воно перевершує лише eager, і 1 в інших випадках.

Результати

Таблиця 1, загальні результати: показник проходження 98,8%, 98,4% ядер швидші за eager і 96,8% ядер швидші за torch.compile, із геометричним середнім прискоренням 2,60× та 2,11× відповідно. Level 2 (послідовності операторів) є найсильнішим поділом: 100% проходження, 100% швидших ядер і 2,80× порівняно з torch.compile. Level 3 показує 94,0% проходження, 90,0% швидших ядер і 1,52× — приблизно на 40 пунктів вище за Claude Opus 4.5 (50,0%) і Gemini 3 Pro (52,0%) за часткою ядер, швидших за компіляцію.

Одна невідповідність: анотація та вступ вказують показники швидших ядер 100% / 100% / 92% для Levels 1–3, тоді як Таблиця 1 повідомляє 97,0% / 100,0% / 90,0%. Основною таблицею результатів є Таблиця 1.

Абляції показові. Видалення циклу агента знижує частку ядер, швидших за компіляцію, з 96,8% до 14,1%. Сира винагорода за прискорення дає 60,4%, відсутність RFT — 49,8% і колапс винагороди, а відсутність попереднього навчання критика — 50,9% і неконтрольоване зростання траєкторій.

Приклади демонструють, чого навчається політика. Діагональне множення матриць, переписане як масштабування по рядках: 73,31× порівняно з torch.compile. Послідовність множення матриць, ділення, сумування та масштабування, переупорядкована й об’єднана: 24,04×. BasicBlock ResNet із перенесеною до згортки BatchNorm і cudnnConvolutionBiasActivationForward: 3,59×.

Запустити конвеєр</button><button class="btn ghost" id="p-reset">Скинути</button></div> <div class="pipe"> <div class="stage" id="s1"><div class="sweep"></div><div class="n">ЕТАП 01</div><div class="t">Збір початкових задач</div><div class="d">Еталонні оператори вилучаються з <span class="mono">torch</span> і <span class="mono">transformers</span>. Кожен є <span class="mono">nn.Module</span> із методами <span class="mono">get_inputs()</span> і <span class="mono">get_init_inputs()</span>.</div><div class="cnt" id="c1">—</div></div> <div class="stage" id="s2"><div class="sweep"></div><div class="n">ЕТАП 02</div><div class="t">Комбінаторний синтез</div><div class="d">LLM вибирає до 5 класів операторів із <span class="mono">torch</span> і об’єднує їх в один злитий шар. Оператори <span class="mono">transformers</span> не комбінуються.</div><div class="cnt" id="c2">—</div></div> <div class="stage" id="s3"><div class="sweep"></div><div class="n">ЕТАП 03</div><div class="t">Фільтрація за критеріями</div><div class="d">Оператор має працювати в eager- і compile-режимах, бути детермінованим, нетривіальним і виконуватися 1–100 мс в eager-режимі. Подібність AST &gt; 0,9 до будь-якого зразка KernelBench відкидається.</div><div class="cnt" id="c3">—</div></div> </div> <div class="compbar" id="comp"></div> <div class="ref">Склад фінального набору даних із 6000 зразків, дослівно за Таблицею 3. У статті наведено лише опубліковану загальну кількість; кількість початкових зразків і синтезованих зразків до фільтрації не оприлюднено, тому їх тут немає.</div> </section> <!-- 02 --> <section class="mod" id="m2"> <h3>Цикл агента з інтегрованими навичками</h3> <p class="lede">Цикл використовує інструментарій OpenHands і патерн ReAct. Файл <span class="mono">SKILL.md</span> описує стандартний робочий процес CUDA; компіляція виконується в CPU-пісочниці, а окремий GPU-пул перевіряє та профілює код. Натисніть кнопку відтворення, щоб запустити цикл.</p> <div class="row"><button class="btn" id="l-run">▶ Запустити цикл</button><button class="btn ghost" id="l-stop">Пауза</button></div> <div class="loop"> <div class="node" id="n0"><div class="ic">📄</div><div class="nm">SKILL.md</div><div class="sub">Профілювання → написання ядра → компіляція → ітерації</div></div> <div class="node" id="n1"><div class="ic">🤖</div><div class="nm">CUDA Agent</div><div class="sub">Bash, Read/Write, Edit/MultiEdit, Glob, Grep</div></div> <div class="node" id="n2"><div class="ic">🧱</div><div class="nm">CPU-пісочниця</div><div class="sub">Компіляція .cu + binding.cpp у Docker</div></div> <div class="node" id="n3"><div class="ic">🟩</div><div class="nm">GPU-пул</div><div class="sub">Перевірка коректності та профілювання на 128 H20</div></div> </div> <div class="gauge"> <div class="g"><div class="k">Хід</div><div class="v" id="g-turn">0</div></div> <div class="g"><div class="k">Torch eager</div><div class="v warn" id="g-eager">2.30 мс</div></div> <div class="g"><div class="k">torch.compile</div><div class="v warn" id="g-comp">1.80 мс</div></div> <div class="g"><div class="k">Згенероване</div><div class="v good" id="g-gen">— мс</div></div> </div> <div class="note">Ілюстративний приклад: покрокове зменшення часу роботи згенерованого ядра є симуляцією циклу. Три кінцеві значення часу (2,30 мс для eager, 1,80 мс для compile, 1,26 мс для згенерованого ядра) — точні значення, наведені на Рисунку 2 статті.</div> <div class="ref">Захист від злому винагороди: скрипти перевірки та профілювання мають заблоковані дозволи, контекстні менеджери забороняють резервні виклики <span class="mono">torch.nn.functional</span>, результати перевіряються на п’яти випадкових вхідних даних, профілювання використовує синхронізацію пристрою, розігрів і повтори, а агент не має інструмента вебпошуку.</div> </section> <!-- 03 --> <section class="mod" id="m3"> <h3>Чому винагорода дискретна, а не є коефіцієнтом прискорення</h3> <p class="lede">Сира винагорода за прискорення схиляє політику до простих ядер і надмірно реагує на викиди. Натомість CUDA Agent використовує етапи. Перемістіть повзунок, щоб встановити час роботи ядра та побачити зміну винагороди.</p> <div class="ctrl"> <label>Час роботи згенерованого ядра <span class="mono" id="rt-lab">1.26 мс</span></label> <input type="range" id="rt" min="20" max="320" step="1" value="126"> </div> <div class="row"><button class="btn ghost" id="ok-tog">Перевірка коректності: <b id="ok-lab">ПРОЙДЕНО</b></button></div> <div class="bars3" id="bars3"></div> <div class="verdict" id="verdict"> <div class="r" id="v-r">3</div> <div class="why" id="v-why"></div> </div> <div class="ref">Точне правило з Рівняння 1: r = −1, якщо перевірку коректності не пройдено; 3, якщо ядро швидше за eager і <span class="mono">torch.compile</span>; 2, якщо швидше лише за eager; в інших випадках 1. «Швидше» означає b(t, t₀) = 𝟙[(t₀ − t)/t₀ &gt; 5%]. Базові значення зафіксовано на рівнях із Рисунка 2.</div> </section> <!-- 04 --> <section class="mod" id="m4"> <h3>Результати KernelBench, Таблиця 1</h3> <p class="lede">250 завдань у трьох рівнях із вагами 100 / 100 / 50. Перемикайте поділ і метрику — стовпці перемальовуються з використанням наведених у статті чисел.</p> <div class="selrow"> <div class="seg" id="lvl"> <button data-k="ov" class="on">Загалом</button><button data-k="l1">Level 1</button><button data-k="l2">Level 2</button><button data-k="l3">Level 3</button> </div> <div class="seg" id="met"> <button data-k="pass">Частка проходження</button><button data-k="fe">Швидше за eager</button><button data-k="fc" class="on">Швидше за compile</button><button data-k="se">Прискорення проти eager</button><button data-k="sc">Прискорення проти compile</button> </div> </div> <div id="chart"></div> <div class="ref" id="chart-note"></div> <div class="note">Анотація та вступ вказують показники 100% / 100% / 92% ядер, швидших за <span class="mono">torch.compile</span>, для Levels 1 / 2 / 3, тоді як Таблиця 1 повідомляє 97,0% / 100,0% / 90,0%. Цей віджет використовує Таблицю 1 — основну таблицю результатів статті.</div> </section> <!-- 05 --> <section class="mod" id="m5"> <h3>Що ламається після видалення окремих компонентів</h3> <p class="lede">Варіанти з вилученням одного компонента, загальний поділ, частка ядер, швидших за <span class="mono">torch.compile</span>. Цикл агента має найбільше значення; два етапи розігріву не дають навчанню зійти нанівець.</p> <div id="abl"></div> <div class="row" style="margin-top:14px"><button class="btn" id="st-run">▶ Повторити криву навчання</button></div> <svg class="spark" id="spark" viewBox="0 0 600 150" preserveAspectRatio="none"></svg> <div class="legend"><span><i style="background:#4D9BFF"></i>PPO з RFT + попереднім навчанням критика</span><span><i style="background:#f5a623"></i>PPO без розігріву</span></div> <div class="note">Схематичне перемальовування Рисунка 4a, ілюстративне. Факти, наведені в статті: перша спроба RL залишалася стабільною протягом 17 кроків, а потім зазнала колапсу; із RFT актора та попереднім навчанням критика тренування тривало 150 кроків зі стабільним зростанням винагороди.</div> <div class="ref">Причина, наведена в статті: CUDA-код становить менш ніж 0,01% даних попереднього навчання, тому вибрані токени з низькою ймовірністю спричиняють коливання або вибух коефіцієнта важливості PPO через невідповідність точності під час навчання та інференсу.</div> </section> <div class="foot"> <span>Джерело: Dai, Wu, Yu та ін., arXiv 2602.24286 · ByteDance Seed × Tsinghua AIR</span> <span><b>Marktechpost</b> · інтерактивне пояснення</span> </div> </div> <script> (function(){ var $=function(s){return document.querySelector(s)}; var $$=function(s){return Array.prototype.slice.call(document.querySelectorAll(s))}; /* ---- resize ---- */ var wrap=document.getElementById('ca-wrap'); var lastH=0; function ping(){ var h=wrap.offsetHeight+40; if(h===lastH)return; lastH=h; try{ parent.postMessage({type:'mtpEmbedHeight',id:'cuda-agent-explainer',height:h},'*'); }catch(e){} } setInterval(ping,600); window.addEventListener('load',ping); ping(); /* ---- nav ---- */ $$('nav.ca-nav button').forEach(function(b){ b.addEventListener('click',function(){ $$('nav.ca-nav button').forEach(function(x){x.classList.remove('active')}); $$('section.mod').forEach(function(x){x.classList.remove('show')}); b.classList.add('active'); var m=b.getAttribute('data-m'); document.getElementById(m).classList.add('show'); if(m==='m5'){ setTimeout(drawSpark,30); } ping(); }); }); /* ---- 01 pipeline ---- */ var comp=[['оператори torch ×2',83.77],['оператори torch ×3',7.62],['оператори torch ×1',3.40], ['оператори torch ×4',2.80],['оператори torch ×5',1.23],['transformers',1.18]]; var compHTML=''; comp.forEach(function(c,i){ compHTML+='<div class="cb"><div class="lab">'+c[0]+'</div><div class="track"><div class="fill" data-w="'+ (c[1]/83.77*100)+'"></div></div><div class="val">'+c[1].toFixed(2)+'%</div></div>'; }); $('#comp').innerHTML=compHTML; function tick(el,to,ms,suffix){ var t0=null; function step(ts){ if(!t0)t0=ts; var p=Math.min((ts-t0)/ms,1); el.textContent=Math.round(to*(1-Math.pow(1-p,3))).toLocaleString()+(suffix||''); if(p<1)requestAnimationFrame(step); } requestAnimationFrame(step); } function runPipe(){ resetPipe(); setTimeout(function(){$('#s1').classList.add('lit'); $('#c1').textContent='torch + transformers';},80); setTimeout(function(){$('#s2').classList.add('lit'); $('#c2').textContent='≤ 5 операторів / завдання';},1100); setTimeout(function(){$('#s3').classList.add('lit'); tick($('#c3'),6000,1000,' зразків залишено');},2200); setTimeout(function(){$$('#comp .fill').forEach(function(f,i){ setTimeout(function(){f.style.width=f.getAttribute('data-w')+'%'},i*110)});},2900); } function resetPipe(){ ['s1','s2','s3'].forEach(function(id){$('#'+id).classList.remove('lit')}); ['c1','c2','c3'].forEach(function(id){$('#'+id).textContent='—'}); $$('#comp .fill').forEach(function(f){f.style.width='0%'}); } $('#p-run').addEventListener('click',runPipe); $('#p-reset').addEventListener('click',resetPipe); /* ---- 02 agent loop ---- */ var lt=null, li=0, turn=0, gen=2.90; function loopStep(){ ['n0','n1','n2','n3'].forEach(function(id){$('#'+id).classList.remove('act')}); $('#n'+(li%4)).classList.add('act'); if(li%4===3){ turn++; gen=Math.max(1.26, gen-(gen-1.26)*0.42); $('#g-turn').textContent=turn; $('#g-gen').textContent=gen.toFixed(2)+' мс'; $('#g-gen').className='v '+(gen<1.71?'good':'warn'); } li++; } function loopStart(){ if(lt)return; loopStep(); lt=setInterval(loopStep,460); } function loopStop(){ clearInterval(lt); lt=null; } $('#l-run').addEventListener('click',function(){ if(turn>=6){turn=0;gen=2.90;} loopStart(); }); $('#l-stop').addEventListener('click',loopStop); /* ---- 03 reward ---- */ var EAGER=2.30, COMP=1.80, ok=true; function b(t,t0){ return (t0-t)/t0 > 0.05; } function drawReward(){ var t=parseInt($('#rt').value,10)/100; $('#rt-lab').textContent=t.toFixed(2)+' мс'; var max=3.4; var rows=[['torch eager',EAGER,'#f5a623'],['torch.compile',COMP,'#4D9BFF'],['ваше ядро',t,'#5BE1F5']]; var h=''; rows.forEach(function(r){ h+='<div class="b3"><div class="lab">'+r[0]+'</div><div class="track"><div class="fill" style="width:'+ (r[1]/max*100)+'%;background:linear-gradient(90deg,'+r[2]+'55,'+r[2]+')"></div></div><div class="val">'+ r[1].toFixed(2)+' мс</div></div>'; }); $('#bars3').innerHTML=h; var be=b(t,EAGER), bc=b(t,COMP), r, why, col; if(!ok){ r=-1; why='Перевірку коректності не пройдено. Час виконання не має значення — траєкторію оштрафовано.'; col='#f5a623'; } else if(be&&bc){ r=3; why='Більш ніж на 5% швидше за eager І за torch.compile. Найвищий етап.'; col='#3ddc97'; } else if(be){ r=2; why='Більш ніж на 5% швидше за eager, але не за torch.compile.'; col='#5BE1F5'; } else { r=1; why='Коректно, але без суттєвого прискорення порівняно з будь-яким базовим показником.'; col='#8fa3c0'; } $('#v-r').textContent=(r>0?'+':'')+r; $('#v-r').style.color=col; $('#v-why').textContent=why; $('#verdict').style.borderColor=col; } $('#rt').addEventListener('input',drawReward); $('#ok-tog').addEventListener('click',function(){ ok=!ok; $('#ok-lab').textContent=ok?'ПРОЙДЕНО':'ПОМИЛКА'; drawReward(); }); drawReward(); /* ---- 04 chart (Table 1) ---- */ var MODELS=['Seed1.6 (базова)','GLM 4.6','Kimi K2','Gemini 3 Pro','Claude Opus 4.5','CUDA Agent']; var D={ ov:{pass:[74.0,75.6,66.8,91.2,95.2,98.8],fe:[43.6,44.8,40.8,87.6,90.4,98.4], fc:[27.2,19.2,22.8,69.6,66.4,96.8],se:[0.95,0.78,0.93,1.92,1.99,2.60], sc:[0.69,0.57,0.66,1.42,1.46,2.11]}, l1:{pass:[90.0,86.0,85.0,95.0,96.0,100.0],fe:[63.0,57.0,56.0,90.0,88.0,99.0], fc:[51.0,32.0,39.0,72.0,72.0,97.0],se:[1.65,0.99,1.43,1.99,2.03,2.48], sc:[1.25,0.73,1.00,1.51,1.54,1.87]}, l2:{pass:[74.0,76.0,65.0,93.0,98.0,100.0],fe:[40.0,43.0,40.0,91.0,97.0,100.0], fc:[16.0,11.0,15.0,76.0,69.0,100.0],se:[0.68,0.60,0.93,2.03,2.24,3.27], sc:[0.50,0.42,0.65,1.46,1.60,2.80]}, l3:{pass:[42.0,54.0,34.0,80.0,88.0,94.0],fe:[12.0,24.0,12.0,76.0,82.0,94.0], fc:[2.0,10.0,6.0,52.0,50.0,90.0],se:[0.60,0.83,0.40,1.58,1.52,1.80], sc:[0.40,0.62,0.29,1.17,1.10,1.52]} }; var NOTES={ov:'Загалом = зважено за кількістю задач на кожному рівні (Level 1: 100, Level 2: 100, Level 3: 50).', l1:'Level 1 = окремі операції.', l2:'Level 2 = послідовності операторів, де об’єднання має найбільше значення.', l3:'Level 3 = реалістичні блоки нейронних мереж, найскладніший поділ.'}; var lvl='ov', met='fc'; function drawChart(){ var vals=D[lvl][met], pct=(met==='se'||met==='sc')?false:true; var max=Math.max.apply(null,vals)*1.06; var h=''; MODELS.forEach(function(m,i){ var v=vals[i]; h+='<div class="brow'+(i===5?' ours':'')+'"><div class="lab">'+m+'</div><div class="track"><div class="fill" data-w="'+ (v/max*100)+'"></div></div><div class="val">'+(pct?v.toFixed(1)+'%':v.toFixed(2)+'×')+'</div></div>'; }); $('#chart').innerHTML=h; $('#chart-note').textContent=NOTES[lvl]+' Усі показники взято з Таблиці 1 статті.'; setTimeout(function(){$$('#chart .fill').forEach(function(f,i){ setTimeout(function(){f.style.width=f.getAttribute('data-w')+'%'},i*70)})},30); } $$('#lvl button').forEach(function(b2){b2.addEventListener('click',function(){ $$('#lvl button').forEach(function(x){x.classList.remove('on')});b2.classList.add('on'); lvl=b2.getAttribute('data-k');drawChart();})}); $$('#met button').forEach(function(b2){b2.addEventListener('click',function(){ $$('#met button').forEach(function(x){x.classList.remove('on')});b2.classList.add('on'); met=b2.getAttribute('data-k');drawChart();})}); drawChart(); /* ---- 05 ablation ---- */ var ABL=[['без циклу агента',14.1],['без стійкої винагороди',60.4],['без RFT',49.8], ['без попереднього навчання критика',50.9],['CUDA Agent (повна версія)',96.8]]; var ah=''; ABL.forEach(function(a,i){ ah+='<div class="brow'+(i===4?' ours':'')+'"><div class="lab">'+a[0]+ '</div><div class="track"><div class="fill" data-w="'+a[1]+'"></div></div><div class="val">'+ a[1].toFixed(1)+'%</div></div>'; }); $('#abl').innerHTML=ah; setTimeout(function(){$$('#abl .fill').forEach(function(f,i){ setTimeout(function(){f.style.width=f.getAttribute('data-w')+'%'},i*90)})},250); /* ---- 05 spark ---- */ var good=[0.35,0.62,0.95,1.10,1.02,1.28,1.20,1.44,1.35,1.52,1.41,1.63,1.55,1.72,1.66,1.80,1.74,1.88,1.82,1.95]; var bad =[0.32,0.58,0.88,1.05,1.18,1.30,1.22,1.05,0.86,0.62,0.40,0.22,0.12,0.06,0.03,0.02,0.02,0.01,0.01,0.01]; function pts(a){ return a.map(function(v,i){ return (30+i*(555/(a.length-1))).toFixed(1)+','+(130-v/2.1*112).toFixed(1); }).join(' '); } function drawSpark(){ var s=$('#spark'); s.innerHTML='<line x1="30" y1="130" x2="588" y2="130" stroke="#1c2942" stroke-width="1"/>'+ '<line x1="30" y1="18" x2="30" y2="130" stroke="#1c2942" stroke-width="1"/>'+ '<line x1="200" y1="18" x2="200" y2="130" stroke="#f5a62355" stroke-width="1" stroke-dasharray="4 4"/>'+ '<text x="205" y="30" fill="#8fa3c0" font-size="10" font-family="monospace">крок 17: колапс</text>'+ '<text x="4" y="24" fill="#8fa3c0" font-size="9" font-family="monospace">винагорода</text>'+ '<polyline id="pl-bad" points="'+pts(bad)+'" fill="none" stroke="#f5a623" stroke-width="2"/>'+ '<polyline id="pl-good" points="'+pts(good)+'" fill="none" stroke="#4D9BFF" stroke-width="2"/>'; ['pl-bad','pl-good'].forEach(function(id){ var p=document.getElementById(id), L=0; try{ L=p.getTotalLength(); }catch(e){ return; } if(!L) return; p.style.strokeDasharray=L; p.style.strokeDashoffset=L; p.style.transition='stroke-dashoffset 1.8s ease'; setTimeout(function(){p.style.strokeDashoffset=0},60); }); } $('#st-run').addEventListener('click',drawSpark); drawSpark(); })(); </script> </body> </html> ">

Головні висновки

  • CUDA Agent досягає показника проходження 98,8% і частки ядер, швидших за torch.compile, на рівні 96,8% у KernelBench, із геометричним середнім 2,11×.
  • Об’єднання на Level 2 є найкращим результатом: 100% швидших ядер і 2,80× порівняно з torch.compile.
  • Дискретна винагорода за досягнення етапів перевершує сиру винагороду за коефіцієнт прискорення на 36,4 пункту за часткою швидших ядер.
  • RFT разом із попереднім навчанням критика перетворює колапс після 17 кроків на 150 стабільних кроків.
  • Ваги моделі закриті; набір даних із 6000 зразків, SKILL.md і рецепт є відкритими.

Ознайомтеся зі статтею, сторінкою проєкту та набором даних. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого ML SubReddit із понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви користуєтеся Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки на Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Текст і зображення належать MarkTechPost і наводяться тут із зазначенням авторства та посиланням на оригінальну публікацію.

← До новин

Ще новини

Усі останні новини