You.com запускає Inference Router: 12 моделей із відкритими вагами та SLA із доступністю 99,9%

You.com запустила Inference Router — керований API для запуску моделей із відкритими вагами у виробничому середовищі. You.com Inference Router — це сумісний з OpenAI сервіс, який маршрутизує запити між 12 активними моделями. Він включає угоду про рівень доступності (SLA) із мінімальним показником 99,9% і нульове зберігання даних (ZDR). Також сервіс забезпечує 100% розміщення у США та вебпошук на стороні сервера. Оплата здійснюється за фактичне використання, без плати за платформу.

Коротко

Масштаб: 12 активних моделей — від GPT-OSS 120B (контекст 125 тис. токенів) до Kimi K3 і Qwen3.8 Max (контекст 1 млн токенів). Kimi K3 — модель із 2,8 трлн параметрів; Qwen3.8 Max — MoE-модель із 2,4 трлн параметрів.
Як працює: повністю керований сервіс. Запити спочатку надходять до You.com Inference Direct, а потім у разі відмови перенаправляються до партнерів, розміщених у США. Керувати GPU не потрібно.
Продуктивність: під час тестування You.com LiveNewsBench моделі з відкритими вагами разом із пошуком You.com продемонстрували результати на рівні передових моделей за нижчою ціною.
Найкращий результат: GLM-5.3 із пошуком You.com набрала 86,53% за ціни $0,0485 за запит проти $0,0920 у Claude Sonnet 5.5 (за власними даними компанії).
Найгірший результат: ціни за токени близькі до ринкових. Kimi K3 коштує $2,85/$14,25 — лише на 5% дешевше, ніж $3,00/$15,00 у Together AI.

Що таке You.com Inference Router?

Це один API для багатьох моделей із відкритими вагами. Кінцева точка — https://api.you.com, із маршрутами, сумісними з OpenAI та Anthropic. Наявний код SDK можна перенести, змінивши базову URL-адресу та ключ.

Команда You.com описує проблему через призму міграцій, що зупинилися. Команди розробників тестують моделі з відкритими вагами на агрегаторах, а потім стикаються з перевіркою безпеки. Перевіряльники запитують про ZDR, розміщення у США, засоби контролю доступу та DPA. Спеціалізовані провайдери відповідають цим вимогам, але зазвичай вимагають значних зобов’язань. Inference Router націлений саме на цю прогалину.

Як працюють маршрутизація та резервне перемикання?

Кожен запит спочатку надходить до You.com Inference Direct — власних обчислювальних потужностей компанії. Якщо вони недоступні або перевантажені, запит перенаправляється до перевіреного партнера. В офіційній публікації названо Parasail, Wafer, Alibaba Cloud, Meta та Inception; Prime Intellect буде додано найближчим часом. Усі вони розміщені на 100% у США та повинні дотримуватися правил ZDR.

Резервне перемикання не змінює рахунок. Для кожної моделі діє 1 опублікована ціна за токен. You.com також пропонує ліміти витрат для кожного API-ключа та щоденний перегляд використання за моделлю, вартістю і провайдером. Облікові записи працюють на інфраструктурі, сумісній із SOC 2; DPA надається на запит.

На що поширюється нульове зберігання даних?

У політиці ZDR зазначено, що запити та результати обробляються в пам’яті й не зберігаються. Це стосується як викликів моделей, так і запитів вебпошуку. You.com зберігає лише операційні метадані, як-от кількість токенів, часові мітки та ідентифікатори облікових записів. Хеші запитів, знеособлений текст і кеші запитів на диску прямо виключені.

Які моделі доступні та скільки вони коштують?

На сторінці моделей перелічено 12 активних моделей, усі розміщені у США. Ціни вказано за 1 млн токенів (вхідні / вихідні):

Kimi K3 (Moonshot AI): $2,85 / $14,25, контекст 1 млн токенів
Qwen3.8 Max (Alibaba): $1,85 / $5,55, контекст 1 млн токенів
GLM 5.3 (Z.ai): $1,35 / $4,25, контекст 1 млн токенів
DeepSeek V4 Pro: $1,65 / $3,65, контекст 1 млн токенів
DeepSeek V4.1 Flash: $0,30 / $1,20, контекст 1 млн токенів
Mercury 3 (Inception): $0,10 / $0,35, контекст 1 млн токенів
GPT-OSS 120B (OpenAI): $0,097 / $0,73, контекст 125 тис. токенів

Muse Wonder, Muse Spark 1.3, GLM 5.3 Flash, Qwen3.8 Flash і MiniMax M3 доповнюють список.

Як працює вбудований вебпошук?

Розробники оголошують інструмент web_search або web_extract, після чого маршрутизатор виконує пошук для моделі. Документація показує до 20 результатів на один пошук і 30 раундів пошуку за замовчуванням. Відповіді містять об’єкт web_results із цитуваннями.

Пошук виконується на тому самому сервері, що й модель. За словами You.com, внутрішні тести показали до 15% нижчу затримку.

Надіслати запит</button> <button class="btn" id="ydcSearch">＋ Із web_search</button> <button class="btn" id="ydcFail">

Симулювати збій</button> <span class="status" id="ydcStat">бездіяльний</span> </div> </div> <div class="grid3"> <div class="stat"><b>≥99,9%</b><span>SLA доступності з компенсаціями за обслуговування</span></div> <div class="stat"><b>0%</b><span>Плата за платформу (OpenRouter: 5,5%)</span></div> <div class="stat"><b>До 15%</b><span>Нижча затримка, пошук на стороні сервера (внутрішній тест)</span></div> </div> <p class="note">Партнери для резервного перемикання, названі в публікації про запуск: Parasail, Wafer, Alibaba Cloud, Meta, Inception; Prime Intellect буде додано найближчим часом. Резервне перемикання ніколи не змінює ціну.</p> </div>  <div class="pn" data-p="1"> <div class="seg" id="ydcSeg"><button class="on" data-m="in">Вхідні $/1 млн</button><button data-m="out">Вихідні $/1 млн</button></div> <div class="rows" id="ydcModels"></div> <p class="note">Ціни за 1 млн токенів із you.com/product/inference-router/models, перевірено 22 жовтня 2026 року. Усі моделі розміщені у США та підтримують ZDR.</p> </div>  <div class="pn" data-p="2"> <div class="seg" id="ydcBseg"><button class="on" data-m="acc">Точність</button><button data-m="cost">Вартість за запит</button></div> <div class="rows" id="ydcBench"></div> <p class="note">LiveNewsBench, 1 329 запитань, ціни за прейскурантом. Стовпчики точності починаються з 80%. Власний тест You.com за жовтень 2026 року з використанням відкритого пошукового оцінювання Braintrust (за власними даними компанії). Фіолетовий = модель із відкритими вагами + пошук You.com; сірий = закрита модель із вбудованим пошуком.</p> </div>  <div class="pn" data-p="3"> <div class="tw"><table> <thead><tr><th></th><th>You.com</th><th>OpenRouter</th><th>Together AI</th><th>Fireworks AI</th></tr></thead> <tbody> <tr class="hl"><td>SLA доступності</td><td>≥99,9%, оплата за використання</td><td>Не розкрито</td><td>Найкращі зусилля; 99% за умови зобов’язань PTU</td><td>Не розкрито</td></tr> <tr class="hl"><td>ZDR</td><td>За замовчуванням, моделі + пошук</td><td>Ведення журналу запитів за замовчуванням вимкнено</td><td>За замовчуванням вимкнено</td><td>За замовчуванням увімкнено (відкриті моделі)</td></tr> <tr class="hl"><td>Плата за платформу</td><td>0%</td><td>5,5%</td><td>Не зазначено</td><td>Не зазначено</td></tr> <tr class="hl"><td>Kimi K3: вхідні/вихідні</td><td>$2,85 / $14,25</td><td>Залежить від провайдера</td><td>$3,00 / $15,00</td><td>$3,00 / $15,00 (лише США: $4,50 / $22,50)</td></tr> <tr class="hl"><td>Розміщення у США</td><td>100%, включно з резервним перемиканням</td><td>Залежить від провайдера</td><td>Не розкрито</td><td>Тариф для США з надбавкою</td></tr> </tbody> </table></div> <p class="note">Джерела: openrouter.ai/docs/faq, together.ai/pricing, docs.together.ai, docs.fireworks.ai/serverless/pricing. Перевірено 22 жовтня 2026 року.</p> </div>  <div class="pn" data-p="4"> <div class="steps"><button class="btn" data-s="0">1 · Встановлення</button><button class="btn" data-s="1">2 · Змінити базову URL-адресу</button><button class="btn" data-s="2">3 · Додати пошук</button></div> <pre><code id="ydcCode"></code></pre> <p class="stepTxt" id="ydcStep"></p> </div> <div class="ft"><span>Джерела: публікація You.com про запуск, сторінка моделей, документація · Числа є власними даними, якщо це зазначено</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div> </div> <script> (function(){ var R=document.getElementById('ydc-ir'); function post(){try{parent.postMessage({ydcH:R.offsetHeight+40},'*')}catch(e){}} R.querySelectorAll('.tab').forEach(function(t){t.onclick=function(){ R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); R.querySelectorAll('.pn').forEach(function(p){p.classList.toggle('on',p.dataset.p==t.dataset.t)}); if(t.dataset.t=='0')layout(); if(t.dataset.t=='1')drawM(); if(t.dataset.t=='2')drawB(); if(t.dataset.t=='4')step(0); setTimeout(post,60);}}); /* маршрутизація */ var F=document.getElementById('ydcFlow'),W=document.getElementById('ydcWires'),ST=document.getElementById('ydcStat'); var N={app:'n-app',r:'n-r',s:'n-s',d:'n-d',p:'n-p'},down=false,busy=false; function el(k){return document.getElementById(N[k])} function layout(){var w=F.clientWidth,h=F.clientHeight,m=w<520; var pos=m?{app:[.5,.07],r:[.5,.38],s:[.5,.66],d:[.22,.93],p:[.78,.93]}:{app:[.1,.5],r:[.42,.5],s:[.42,.12],d:[.82,.25],p:[.82,.78]}; for(var k in pos){var e=el(k);e.style.left=(pos[k][0]*w-e.offsetWidth/2)+'px';e.style.top=(pos[k][1]*h-e.offsetHeight/2)+'px'} wires();} function c(k){var e=el(k);return[e.offsetLeft+e.offsetWidth/2,e.offsetTop+e.offsetHeight/2]} function wires(){W.querySelectorAll('path').forEach(function(p){p.remove()}); [['app','r'],['r','s'],['r','d'],['r','p']].forEach(function(pr){var a=c(pr[0]),b=c(pr[1]),p=document.createElementNS('http://www.w3.org/2000/svg','path'); p.setAttribute('d','M'+a[0]+' '+a[1]+' L'+b[0]+' '+b[1]);p.setAttribute('class','w');p.id='w-'+pr[0]+pr[1];W.appendChild(p)})} function clear(){R.querySelectorAll('.node').forEach(function(n){n.classList.remove('hot','fo')});W.querySelectorAll('.w').forEach(function(w){w.classList.remove('act')})} function hot(k,cls){el(k).classList.add(cls||'hot')} function wire(id){var w=document.getElementById('w-'+id);if(w)w.classList.add('act')} function run(search){if(busy)return;busy=true;clear();var t=0,seq=[]; seq.push(function(){hot('app');wire('appr');ST.textContent='запит → маршрутизатор'}); seq.push(function(){hot('r')}); if(search)seq.push(function(){wire('rs');hot('s');ST.textContent='web_search працює на стороні сервера'}); if(!down)seq.push(function(){wire('rd');hot('d');ST.textContent='обслуговується Inference Direct · ZDR'}); else{seq.push(function(){ST.textContent='Inference Direct недоступний…'}); seq.push(function(){wire('rp');hot('p','fo');ST.textContent='автоматичне резервне перемикання на партнера у США · та сама ціна'})} seq.push(function(){busy=false}); seq.forEach(function(f){setTimeout(f,t);t+=650})} document.getElementById('ydcSend').onclick=function(){run(false)}; document.getElementById('ydcSearch').onclick=function(){run(true)}; document.getElementById('ydcFail').onclick=function(){down=!down;el('d').classList.toggle('down',down);this.textContent=down?'✓ Відновити потужність':'

Симулювати збій';ST.textContent=down?'Inference Direct: недоступний':'Inference Direct: доступний'}; window.addEventListener('resize',function(){layout();post()}); /* моделі */ var M=[['Kimi K3','Moonshot AI · 1 млн',2.85,14.25],['Muse Wonder','Meta · 1 млн',4.00,20.00],['Qwen3.8 Max','Alibaba · 1 млн',1.85,5.55],['DeepSeek V4 Pro','DeepSeek · 1 млн',1.65,3.65],['GLM 5.3','Z.ai · 1 млн',1.35,4.25],['Muse Spark 1.3','Meta · 1 млн',1.25,4.25],['DeepSeek V4.1 Flash','DeepSeek · 1 млн',0.30,1.20],['MiniMax M3','MiniMax · 512 тис.',0.29,1.16],['GLM 5.3 Flash','Z.ai · 1 млн',0.14,0.48],['Qwen3.8 Flash','Alibaba · 1 млн',0.14,0.43],['Mercury 3','Inception · 1 млн',0.10,0.35],['GPT-OSS 120B','OpenAI · 125 тис.',0.097,0.73]]; var mode='in',MB=document.getElementById('ydcModels'); function drawM(){var i=mode=='in'?2:3,mx=Math.max.apply(null,M.map(function(r){return r[i]})); var s=M.slice().sort(function(a,b){return b[i]-a[i]}); MB.innerHTML=s.map(function(r){return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i data-w="'+(r[i]/mx*100)+'"></i></div><div class="val">$'+r[i].toFixed(r[i]<0.1?3:2)+'</div></div>'}).join(''); requestAnimationFrame(function(){MB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()} R.querySelectorAll('#ydcSeg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcSeg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');mode=b.dataset.m;drawM()}}); /* бенчмарк */ var B=[['GPT-6.1 Sol','вбудований пошук',86.53,0.0591,0],['GLM-5.3','+ пошук You.com',86.53,0.0485,1],['Claude Sonnet 5.5','вбудований пошук',86.38,0.0920,0],['DeepSeek V4.1 Flash','+ пошук You.com',84.12,0.0215,1]]; var bm='acc',BB=document.getElementById('ydcBench'); function drawB(){BB.innerHTML=B.map(function(r){var v=bm=='acc'?r[2]:r[3],w=bm=='acc'?(r[2]-80)/(90-80)*100:r[3]/0.0920*100; return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i class="'+(r[4]?'':'alt')+'" data-w="'+w+'"></i></div><div class="val">'+(bm=='acc'?v.toFixed(2)+'%':'$'+v.toFixed(4))+'</div></div>'}).join(''); requestAnimationFrame(function(){BB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()} R.querySelectorAll('#ydcBseg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcBseg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');bm=b.dataset.m;drawB()}}); /* швидкий старт */ var CODE=[ '<span class="c"># Використовуйте стандартний OpenAI SDK</span>\npip install openai', '<span class="k">from</span> openai <span class="k">import</span> OpenAI\n\nclient = OpenAI(\n<span class="hlline"> base_url=<span class="s">"https://api.you.com/v1"</span>, <span class="c"># єдиний рядок, який потрібно змінити</span></span>\n api_key=<span class="s">"YDC_API_KEY"</span>,\n)\n\nresp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>, <span class="s">"content"</span>: <span class="s">"Привіт"</span>}],\n)', 'resp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>,\n <span class="s">"content"</span>: <span class="s">"Що змінилося в останньому випуску Python?"</span>}],\n<span class="hlline"> tools=[{<span class="s">"type"</span>: <span class="s">"web_search"</span>, <span class="s">"freshness"</span>: <span class="s">"month"</span>, <span class="s">"count"</span>: 5}],</span>\n)\n<span class="c"># відповідь + цитування повертаються в resp.web_results</span>']; var TXT=['Inference Router підтримує формати API OpenAI та Anthropic, тому наявні SDK працюють.','Замініть базову URL-адресу та ключ. Ваш наявний код, сумісний з OpenAI, тепер працює в Inference Router.','Оголосіть інструмент web_search, і маршрутизатор виконуватиме пошук на стороні сервера, повертаючи джерела в web_results.']; function step(i){document.getElementById('ydcCode').innerHTML=CODE[i];document.getElementById('ydcStep').textContent=TXT[i]; R.querySelectorAll('.steps .btn').forEach(function(b){b.style.borderColor=b.dataset.s==i?'#7b6cff':''});post()} R.querySelectorAll('.steps .btn').forEach(function(b){b.onclick=function(){step(+b.dataset.s)}}); layout();setTimeout(function(){layout();post()},300);window.addEventListener('load',post);post(); })(); </script> </body></html> ">

Що показують бенчмарки?

You.com повідомляє про тестування LiveNewsBench на 1 329 запитаннях із використанням відкритого оцінювання пошуку Braintrust. Ці цифри наведено за власними даними компанії:

Конфігурація	Точність	Середня вартість за запит
GPT-6.1 Sol, вбудований пошук	86,53%	$0,0591
GLM-5.3 + пошук You.com	86,53%	$0,0485
Claude Sonnet 5.5, вбудований пошук	86,38%	$0,0920
DeepSeek V4.1 Flash + пошук You.com	84,12%	$0,0215

DeepSeek V4.1 Flash коштує приблизно на 77% дешевше за запит, ніж Claude Sonnet 5.5. Водночас його результат нижчий на 2,26 процентного пункта.

У власному серпневому дослідженні Braintrust використовувалися старіші моделі. Тоді DeepSeek V4 Flash із пошуком You.com набрала 80,66% за ціни $0,0163 за запит. Claude Sonnet 5 із вбудованим пошуком показала 78,78% за ціни $0,1148.

You.com також посилається на спільну роботу з NVIDIA та CoreWeave. Дообучення Nemotron 3.5 Lightning із пошуком You.com у циклі підвищило результат BrowseComp із 36,97% до 45,45%. Кількість викликів інструментів скоротилася на 30%.

Як сервіс порівнюється з OpenRouter, Together AI та Fireworks AI?

Показники	You.com Inference Router	OpenRouter	Together AI (безсерверний режим)	Fireworks AI (безсерверний режим)
Модель	Спочатку власні потужності, потім резервне перемикання на партнера	Агрегатор сторонніх провайдерів	Власна хмара для інференсу	Власна хмара для інференсу
SLA доступності	Щонайменше 99,9%, із компенсаціями, за оплатою за використання	Не розкрито; автоматичне резервне перемикання	Найкращі зусилля; SLA запитів 99% лише за умови виділеної пропускної здатності (мінімум 1 місяць)	Не розкрито
Нульове зберігання даних	За замовчуванням, для моделей і вебпошуку	Ведення журналу запитів за замовчуванням вимкнено; політики провайдерів відрізняються	Вимкнено за замовчуванням; адміністратор може ввімкнути	Увімкнено за замовчуванням для відкритих моделей
Розміщення у США	100%, включно з резервним перемиканням	Залежить від провайдера	Для безсерверного режиму не розкрито	Тариф лише для США з надбавкою
Плата за платформу	0%	5,5% на придбання кредитів (мінімум $0,80)	Не зазначено	Не зазначено
Kimi K3 (вхідні / вихідні за 1 млн)	$2,85 / $14,25	Від $0,238 / $16 до $4,50 / $22,50, залежно від провайдера	$3,00 / $15,00	$3,00 / $15,00; лише США — $4,50 / $22,50
DeepSeek V4.1 Flash (вхідні / вихідні за 1 млн)	$0,30 / $1,20	Не перевірено	$0,30 / $1,20	$0,30 / $1,20; лише США — $0,45 / $1,80
Вебпошук на стороні сервера	Так, на тому самому сервері, що й модель	Серверний інструмент, сторонній пошук	Не розкрито	Сторонні провайдери пошуку

Найпомітніша перевага в ціні — порівняно з тарифом Fireworks лише для США. Там You.com приблизно на 37% дешевший за вхідними токенами Kimi K3.

Основні висновки

12 моделей із відкритими вагами за 1 базовою URL-адресою, сумісною з OpenAI.
SLA доступності щонайменше 99,9% за оплатою за використання, із компенсаціями.
ZDR охоплює як виклики моделей, так і вебпошук.
Плата за платформу становить 0% проти 5,5% у OpenRouter.
Ціни за токени близькі до ринкових; цінність полягає в гарантіях.

Перегляньте публікацію про запуск, ознайомтеся зі списком моделей і перегляньте документацію для розробників. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого 150k+ ML SubReddit та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.

Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.