You.com стартира Inference Router: 12 модела с отворени тегла и SLA за 99,9% безотказна работа

You.com стартира Inference Router — управляван API за използване на модели с отворени тегла в продукционна среда. You.com Inference Router е съвместима с OpenAI услуга, която маршрутизира заявките между 12 активни модела. Тя включва SLA за минимална достъпност от 99,9% и нулево съхранение на данни (ZDR). Добавя хостинг изцяло в САЩ и търсене в мрежата от страна на сървъра. Таксуването е според употребата, без платформена такса.

Накратко

Мащаб: 12 активни модела — от GPT-OSS 120B (контекст от 125K) до Kimi K3 и Qwen3.8 Max (контекст от 1M). Kimi K3 е модел с 2,8 трилиона параметъра, а Qwen3.8 Max е MoE модел с 2,4 трилиона параметъра.
Работи върху: Напълно управлявана инфраструктура. Заявките първо достигат до You.com Inference Direct, след което при нужда се пренасочват към партньори, хоствани в САЩ. Не е необходимо управление на графични процесори.
Производителност: При теста LiveNewsBench на You.com моделите с отворени тегла, комбинирани с търсенето на You.com, постигат резултати, сравними с тези на водещите модели, но на по-ниска цена.
Най-добър: GLM-5.3 с търсене на You.com постига 86,53% при цена от $0,0485 на въпрос спрямо $0,0920 за Claude Sonnet 5.5 (по данни на самата компания).
Най-слаб: Цените на токените са близки до пазарните. Kimi K3 струва $2,85/$14,25 — само с 5% по-малко от $3,00/$15,00 на Together AI.

Какво представлява You.com Inference Router?

Това е един API за множество модели с отворени тегла. Крайната точка е https://api.you.com, с маршрути, съвместими с OpenAI и Anthropic. Съществуващият SDK код може да бъде прехвърлен чрез промяна на базовия URL адрес и ключа.

Екипът на You.com представя проблема през призмата на забавените миграции. Екипите за разработка тестват модели с отворени тегла чрез агрегатори, след което достигат до етапа на проверка за сигурност. Проверяващите задават въпроси относно ZDR, хостинга в САЩ, контролите за достъп и DPA. Специализираните доставчици обикновено покриват тези изисквания, но често срещу голям ангажимент. Inference Router цели именно тази празнина.

Как работят маршрутизирането и резервното пренасочване?

Всяка заявка първо се изпраща към You.com Inference Direct — собствената инфраструктура за инференция на компанията. Ако тя не работи или е претоварена, заявката се пренасочва към проверен партньор. Официалната публикация посочва Parasail, Wafer, Alibaba Cloud, Meta и Inception, а Prime Intellect ще бъде добавен скоро. Всички са хоствани изцяло в САЩ и трябва да спазват правилата за ZDR.

Резервното пренасочване не променя сметката. Всеки модел има 1 публикувана цена на токен. You.com предлага и лимити на разходите за всеки API ключ, както и дневни справки за използването по модел, цена и доставчик. Акаунтите работят върху инфраструктура, съвместима със SOC 2, а DPA се предоставя при поискване.

Какво включва нулевото съхранение на данни?

Политиката за ZDR посочва, че подканите и резултатите се обработват в паметта и не се съхраняват. Това обхваща както извикванията към моделите, така и заявките за търсене в мрежата. You.com съхранява единствено оперативни метаданни, като броя на токените, времеви печати и идентификатори на акаунти. Хешовете на подканите, деидентифицираният текст и кешовете на подканите, съхранявани на диска, са изрично изключени.

Кои модели са налични и колко струват?

Страницата с моделите изброява 12 активни модела, всички хоствани в САЩ. Цените са за 1 милион токена (вход / изход):

Kimi K3 (Moonshot AI): $2,85 / $14,25, контекст от 1M
Qwen3.8 Max (Alibaba): $1,85 / $5,55, контекст от 1M
GLM 5.3 (Z.ai): $1,35 / $4,25, контекст от 1M
DeepSeek V4 Pro: $1,65 / $3,65, контекст от 1M
DeepSeek V4.1 Flash: $0,30 / $1,20, контекст от 1M
Mercury 3 (Inception): $0,10 / $0,35, контекст от 1M
GPT-OSS 120B (OpenAI): $0,097 / $0,73, контекст от 125K

Muse Wonder, Muse Spark 1.3, GLM 5.3 Flash, Qwen3.8 Flash и MiniMax M3 допълват списъка.

Как работи вграденото търсене в мрежата?

Разработчиците декларират инструмент web_search или web_extract, а маршрутизаторът извършва търсения за модела. Документацията показва до 20 резултата на търсене и по подразбиране 30 рунда на търсене. Отговорите връщат обект web_results с цитати.

Търсенето се извършва на същия сървър като модела. You.com заявява, че вътрешните тестове показват до 15% по-ниска латентност.

Изпрати заявка</button> <button class="btn" id="ydcSearch">＋ С web_search</button> <button class="btn" id="ydcFail">

Симулирай прекъсване</button> <span class="status" id="ydcStat">в покой</span> </div> </div> <div class="grid3"> <div class="stat"><b>≥99,9%</b><span>SLA за достъпност със сервизни кредити</span></div> <div class="stat"><b>0%</b><span>Платформена такса (OpenRouter: 5,5%)</span></div> <div class="stat"><b>До 15%</b><span>По-ниска латентност, търсене от страна на сървъра (вътрешен тест)</span></div> </div> <p class="note">Партньори за резервно пренасочване, посочени в публикацията за старта: Parasail, Wafer, Alibaba Cloud, Meta, Inception; Prime Intellect ще бъде добавен скоро. Резервното пренасочване никога не променя цената.</p> </div>  <div class="pn" data-p="1"> <div class="seg" id="ydcSeg"><button class="on" data-m="in">Вход $/1M</button><button data-m="out">Изход $/1M</button></div> <div class="rows" id="ydcModels"></div> <p class="note">Цени за 1 милион токена от you.com/product/inference-router/models, проверени на 22 октомври 2026 г. Всички модели са хоствани в САЩ със ZDR.</p> </div>  <div class="pn" data-p="2"> <div class="seg" id="ydcBseg"><button class="on" data-m="acc">Точност</button><button data-m="cost">Цена на въпрос</button></div> <div class="rows" id="ydcBench"></div> <p class="note">LiveNewsBench, 1329 въпроса, каталожни цени. Лентите за точност започват от 80%. Собствен тест на You.com от октомври 2026 г., използващ оценката за търсене с отворен код на Braintrust (по данни на самата компания). Лилаво = модел с отворени тегла + търсене на You.com; сиво = затворен модел с вградено търсене.</p> </div>  <div class="pn" data-p="3"> <div class="tw"><table> <thead><tr><th></th><th>You.com</th><th>OpenRouter</th><th>Together AI</th><th>Fireworks AI</th></tr></thead> <tbody> <tr class="hl"><td>SLA за достъпност</td><td>≥99,9%, според употребата</td><td>Не е оповестено</td><td>Най-добри усилия; 99% при ангажимент за PTU</td><td>Не е оповестено</td></tr> <tr class="hl"><td>ZDR</td><td>По подразбиране, модели + търсене</td><td>Без регистриране на подканите по подразбиране</td><td>Изключено по подразбиране</td><td>Включено по подразбиране (отворени модели)</td></tr> <tr class="hl"><td>Платформена такса</td><td>0%</td><td>5,5%</td><td>Няма посочена</td><td>Няма посочена</td></tr> <tr class="hl"><td>Kimi K3 вход/изход</td><td>$2,85 / $14,25</td><td>Варира според доставчика</td><td>$3,00 / $15,00</td><td>$3,00 / $15,00 (само за САЩ $4,50 / $22,50)</td></tr> <tr class="hl"><td>Хостинг в САЩ</td><td>100%, включително резервното пренасочване</td><td>Варира</td><td>Не е оповестено</td><td>Ниво за САЩ с допълнителна такса</td></tr> </tbody> </table></div> <p class="note">Източници: openrouter.ai/docs/faq, together.ai/pricing, docs.together.ai, docs.fireworks.ai/serverless/pricing. Проверено на 22 октомври 2026 г.</p> </div>  <div class="pn" data-p="4"> <div class="steps"><button class="btn" data-s="0">1 · Инсталиране</button><button class="btn" data-s="1">2 · Промяна на базовия URL</button><button class="btn" data-s="2">3 · Добавяне на търсене</button></div> <pre><code id="ydcCode"></code></pre> <p class="stepTxt" id="ydcStep"></p> </div> <div class="ft"><span>Източници: публикацията на You.com за старта, страницата с моделите, документацията · Посочените числа са предоставени от самата компания, когато е отбелязано</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div> </div> <script> (function(){ var R=document.getElementById('ydc-ir'); function post(){try{parent.postMessage({ydcH:R.offsetHeight+40},'*')}catch(e){}} R.querySelectorAll('.tab').forEach(function(t){t.onclick=function(){ R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); R.querySelectorAll('.pn').forEach(function(p){p.classList.toggle('on',p.dataset.p==t.dataset.t)}); if(t.dataset.t=='0')layout(); if(t.dataset.t=='1')drawM(); if(t.dataset.t=='2')drawB(); if(t.dataset.t=='4')step(0); setTimeout(post,60);}}); /* маршрутизиране */ var F=document.getElementById('ydcFlow'),W=document.getElementById('ydcWires'),ST=document.getElementById('ydcStat'); var N={app:'n-app',r:'n-r',s:'n-s',d:'n-d',p:'n-p'},down=false,busy=false; function el(k){return document.getElementById(N[k])} function layout(){var w=F.clientWidth,h=F.clientHeight,m=w<520; var pos=m?{app:[.5,.07],r:[.5,.38],s:[.5,.66],d:[.22,.93],p:[.78,.93]}:{app:[.1,.5],r:[.42,.5],s:[.42,.12],d:[.82,.25],p:[.82,.78]}; for(var k in pos){var e=el(k);e.style.left=(pos[k][0]*w-e.offsetWidth/2)+'px';e.style.top=(pos[k][1]*h-e.offsetHeight/2)+'px'} wires();} function c(k){var e=el(k);return[e.offsetLeft+e.offsetWidth/2,e.offsetTop+e.offsetHeight/2]} function wires(){W.querySelectorAll('path').forEach(function(p){p.remove()}); [['app','r'],['r','s'],['r','d'],['r','p']].forEach(function(pr){var a=c(pr[0]),b=c(pr[1]),p=document.createElementNS('http://www.w3.org/2000/svg','path'); p.setAttribute('d','M'+a[0]+' '+a[1]+' L'+b[0]+' '+b[1]);p.setAttribute('class','w');p.id='w-'+pr[0]+pr[1];W.appendChild(p)})} function clear(){R.querySelectorAll('.node').forEach(function(n){n.classList.remove('hot','fo')});W.querySelectorAll('.w').forEach(function(w){w.classList.remove('act')})} function hot(k,cls){el(k).classList.add(cls||'hot')} function wire(id){var w=document.getElementById('w-'+id);if(w)w.classList.add('act')} function run(search){if(busy)return;busy=true;clear();var t=0,seq=[]; seq.push(function(){hot('app');wire('appr');ST.textContent='заявка → маршрутизатор'}); seq.push(function(){hot('r')}); if(search)seq.push(function(){wire('rs');hot('s');ST.textContent='web_search се изпълнява от страна на сървъра'}); if(!down)seq.push(function(){wire('rd');hot('d');ST.textContent='обслужено от Inference Direct · ZDR'}); else{seq.push(function(){ST.textContent='Inference Direct не е наличен…'}); seq.push(function(){wire('rp');hot('p','fo');ST.textContent='автоматично резервно пренасочване към партньор в САЩ · същата цена'})} seq.push(function(){busy=false}); seq.forEach(function(f){setTimeout(f,t);t+=650})} document.getElementById('ydcSend').onclick=function(){run(false)}; document.getElementById('ydcSearch').onclick=function(){run(true)}; document.getElementById('ydcFail').onclick=function(){down=!down;el('d').classList.toggle('down',down);this.textContent=down?'✓ Възстанови капацитета':'

Симулирай прекъсване';ST.textContent=down?'Inference Direct: не работи':'Inference Direct: работи'}; window.addEventListener('resize',function(){layout();post()}); /* модели */ var M=[['Kimi K3','Moonshot AI · 1M',2.85,14.25],['Muse Wonder','Meta · 1M',4.00,20.00],['Qwen3.8 Max','Alibaba · 1M',1.85,5.55],['DeepSeek V4 Pro','DeepSeek · 1M',1.65,3.65],['GLM 5.3','Z.ai · 1M',1.35,4.25],['Muse Spark 1.3','Meta · 1M',1.25,4.25],['DeepSeek V4.1 Flash','DeepSeek · 1M',0.30,1.20],['MiniMax M3','MiniMax · 512K',0.29,1.16],['GLM 5.3 Flash','Z.ai · 1M',0.14,0.48],['Qwen3.8 Flash','Alibaba · 1M',0.14,0.43],['Mercury 3','Inception · 1M',0.10,0.35],['GPT-OSS 120B','OpenAI · 125K',0.097,0.73]]; var mode='in',MB=document.getElementById('ydcModels'); function drawM(){var i=mode=='in'?2:3,mx=Math.max.apply(null,M.map(function(r){return r[i]})); var s=M.slice().sort(function(a,b){return b[i]-a[i]}); MB.innerHTML=s.map(function(r){return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i data-w="'+(r[i]/mx*100)+'"></i></div><div class="val">$'+r[i].toFixed(r[i]<0.1?3:2)+'</div></div>'}).join(''); requestAnimationFrame(function(){MB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()} R.querySelectorAll('#ydcSeg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcSeg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');mode=b.dataset.m;drawM()}}); /* бенчмарк */ var B=[['GPT-6.1 Sol','вградено търсене',86.53,0.0591,0],['GLM-5.3','+ търсене на You.com',86.53,0.0485,1],['Claude Sonnet 5.5','вградено търсене',86.38,0.0920,0],['DeepSeek V4.1 Flash','+ търсене на You.com',84.12,0.0215,1]]; var bm='acc',BB=document.getElementById('ydcBench'); function drawB(){BB.innerHTML=B.map(function(r){var v=bm=='acc'?r[2]:r[3],w=bm=='acc'?(r[2]-80)/(90-80)*100:r[3]/0.0920*100; return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i class="'+(r[4]?'':'alt')+'" data-w="'+w+'"></i></div><div class="val">'+(bm=='acc'?v.toFixed(2)+'%':'$'+v.toFixed(4))+'</div></div>'}).join(''); requestAnimationFrame(function(){BB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()} R.querySelectorAll('#ydcBseg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcBseg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');bm=b.dataset.m;drawB()}}); /* бърз старт */ var CODE=[ '<span class="c"># Използвайте стандартния OpenAI SDK</span>\npip install openai', '<span class="k">from</span> openai <span class="k">import</span> OpenAI\n\nclient = OpenAI(\n<span class="hlline"> base_url=<span class="s">"https://api.you.com/v1"</span>, <span class="c"># единственият ред, който променяте</span></span>\n api_key=<span class="s">"YDC_API_KEY"</span>,\n)\n\nresp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>, <span class="s">"content"</span>: <span class="s">"Здравейте"</span>}],\n)', 'resp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>,\n <span class="s">"content"</span>: <span class="s">"Какво се промени в последната версия на Python?"</span>}],\n<span class="hlline"> tools=[{<span class="s">"type"</span>: <span class="s">"web_search"</span>, <span class="s">"freshness"</span>: <span class="s">"month"</span>, <span class="s">"count"</span>: 5}],</span>\n)\n<span class="c"># отговорът и цитатите се връщат в resp.web_results</span>']; var TXT=['Inference Router поддържа форматите на OpenAI и Anthropic API, така че съществуващите SDK работят.','Сменете базовия URL адрес и ключа. Съществуващият ви OpenAI-съвместим код вече работи с Inference Router.','Декларирайте инструмент web_search и маршрутизаторът ще извършва търсения от страна на сървъра, като връща източниците в web_results.']; function step(i){document.getElementById('ydcCode').innerHTML=CODE[i];document.getElementById('ydcStep').textContent=TXT[i]; R.querySelectorAll('.steps .btn').forEach(function(b){b.style.borderColor=b.dataset.s==i?'#7b6cff':''});post()} R.querySelectorAll('.steps .btn').forEach(function(b){b.onclick=function(){step(+b.dataset.s)}}); layout();setTimeout(function(){layout();post()},300);window.addEventListener('load',post);post(); })(); </script> </body></html> ">

Какво показват бенчмарковете?

You.com съобщава за тест LiveNewsBench с 1329 въпроса, използващ оценката за търсене с отворен код на Braintrust. Тези числа са предоставени от самата компания:

Конфигурация	Точност	Средна цена на въпрос
GPT-6.1 Sol, вградено търсене	86,53%	$0,0591
GLM-5.3 + търсене на You.com	86,53%	$0,0485
Claude Sonnet 5.5, вградено търсене	86,38%	$0,0920
DeepSeek V4.1 Flash + търсене на You.com	84,12%	$0,0215

DeepSeek V4.1 Flash струва около 77% по-малко на въпрос от Claude Sonnet 5.5. Резултатът му е с 2,26 процентни пункта по-нисък.

Собственото проучване на Braintrust от август използва по-стари модели. Там DeepSeek V4 Flash с търсене на You.com постига 80,66% при $0,0163 на въпрос. Claude Sonnet 5 с вградено търсене постига 78,78% при $0,1148.

You.com цитира и съвместна работа с NVIDIA и CoreWeave. Дообучаването на Nemotron 3.5 Lightning с включено търсене на You.com повишава резултата в BrowseComp от 36,97% на 45,45%. Извикванията на инструменти намаляват с 30%.

Как се сравнява с OpenRouter, Together AI и Fireworks AI?

Показател	You.com Inference Router	OpenRouter	Together AI (безсървърен)	Fireworks AI (безсървърен)
Модел	Първо собствен капацитет, резервно пренасочване към партньори	Агрегатор на услуги от външни доставчици	Собствен облак за инференция	Собствен облак за инференция
SLA за достъпност	Най-малко 99,9%, с кредити, при плащане според употребата	Не е оповестено; автоматично резервно пренасочване	Най-добри усилия; SLA за 99% от заявките само при осигурена пропускателна способност (минимум 1 месец)	Не е оповестено
Нулево съхранение на данни	По подразбиране, за моделите и търсенето в мрежата	Без регистриране на подканите по подразбиране; политиките на доставчиците варират	Изключено по подразбиране; администраторът го включва	Включено по подразбиране за отворени модели
Хостинг в САЩ	100%, включително резервното пренасочване	Варира според доставчика	Не е оповестено за безсървърната услуга	Ниво само за САЩ с допълнителна такса
Платформена такса	0%	5,5% при закупуване на кредити (минимум $0,80)	Няма посочена	Няма посочена
Kimi K3 (вход / изход за 1M)	$2,85 / $14,25	$0,238 / $16 до $4,50 / $22,50, според доставчика	$3,00 / $15,00	$3,00 / $15,00; само за САЩ $4,50 / $22,50
DeepSeek V4.1 Flash (вход / изход за 1M)	$0,30 / $1,20	Не е проверено	$0,30 / $1,20	$0,30 / $1,20; само за САЩ $0,45 / $1,80
Търсене в мрежата от страна на сървъра	Да, на същия сървър като модела	Сървърен инструмент, търсене от външна услуга	Не е оповестено	Доставчици на търсене от трети страни

Най-ясното ценово предимство е спрямо нивото на Fireworks, предназначено само за САЩ. Там You.com е с около 37% по-евтин при входа на Kimi K3.

Основни изводи

12 модела с отворени тегла зад 1 OpenAI-съвместим базов URL адрес.
SLA за достъпност от най-малко 99,9% при плащане според употребата, с кредити.
ZDR обхваща както извикванията към моделите, така и търсенето в мрежата.
0% платформена такса спрямо 5,5% при OpenRouter.
Цените на токените са близки до пазарните; стойността е в гаранциите.

Разгледайте публикацията за старта, прегледайте списъка с модели и вижте документацията за разработчици. Всички заслуги са за изследователя на този проект. Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия SubReddit за машинно обучение с над 150 хиляди членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и там.

Имате нужда от партньор за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктова премиера, уебинар и др.? Свържете се с нас

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.