You.com запускает Inference Router: 12 моделей с открытыми весами и SLA с доступностью 99,9%
You.com запустила Inference Router — управляемый API для запуска моделей с открытыми весами в промышленной среде. You.com Inference Router — совместимый с OpenAI сервис, который распределяет запросы между 12 доступными моделями. Он включает SLA с минимальным временем безотказной работы 99,9% и нулевое хранение данных (ZDR). Также сервис поддерживает размещение на 100% территории США и веб-поиск на стороне сервера. Оплата производится по мере использования, без платформенной комиссии.
Кратко
- Масштаб: 12 доступных моделей — от GPT-OSS 120B (контекст 125 тыс. токенов) до Kimi K3 и Qwen3.8 Max (контекст 1 млн токенов). Kimi K3 — модель с 2,8 трлн параметров; Qwen3.8 Max — MoE-модель с 2,4 трлн параметров.
- Работа: полностью управляемая инфраструктура. Сначала запросы попадают в You.com Inference Direct, затем при необходимости перенаправляются к партнёрам, размещённым в США. Управлять GPU не требуется.
- Производительность: в тесте You.com LiveNewsBench модели с открытыми весами вместе с поиском You.com показали результаты на уровне передовых моделей при меньшей стоимости.
- Лучший результат: GLM-5.3 с поиском You.com набрала 86,53% при стоимости 0,0485 доллара за вопрос против 0,0920 доллара у Claude Sonnet 5.5 (по данным самой компании).
- Худший результат: цены за токены близки к рыночным. Kimi K3 стоит 2,85/14,25 доллара — всего на 5% дешевле, чем 3,00/15,00 доллара у Together AI.
Что такое You.com Inference Router?
Это единый API для множества моделей с открытыми весами. Конечная точка — https://api.you.com, доступны маршруты, совместимые с OpenAI и Anthropic. Для переноса существующего кода SDK достаточно изменить базовый URL и ключ.
Команда You.com связывает проблему с остановившимися миграциями. Команды разработчиков тестируют модели с открытыми весами через агрегаторы, а затем сталкиваются с проверкой безопасности. Проверяющие задают вопросы о ZDR, размещении в США, контроле доступа и DPA. Специализированные провайдеры соответствуют этим требованиям, но обычно требуют значительных обязательств. Inference Router призван закрыть этот пробел.
Как работают маршрутизация и резервное переключение?
Каждый запрос сначала направляется в You.com Inference Direct — собственную вычислительную инфраструктуру компании. Если она недоступна или перегружена, запрос перенаправляется к проверенному партнёру. В официальной публикации названы Parasail, Wafer, Alibaba Cloud, Meta и Inception; Prime Intellect будет добавлен позднее. Все они размещают инфраструктуру на 100% территории США и должны соблюдать правила ZDR.
Резервное переключение не меняет стоимость. Для каждой модели опубликована единая цена за токены. You.com также предлагает ограничения расходов для каждого API-ключа и ежедневный просмотр использования по модели, стоимости и провайдеру. Учётные записи работают на инфраструктуре, соответствующей требованиям SOC 2; DPA предоставляется по запросу.
На что распространяется нулевое хранение данных?
В политике ZDR указано, что запросы и ответы обрабатываются в памяти и не сохраняются. Это относится как к вызовам моделей, так и к поисковым запросам. You.com хранит только операционные метаданные, например количество токенов, временные метки и идентификаторы учётных записей. Хэши запросов, обезличенный текст и кэши запросов на диске прямо исключены.
Какие модели доступны и сколько они стоят?
На странице моделей перечислены 12 доступных моделей, все размещены в США. Цены указаны за 1 млн токенов (входные / выходные):
- Kimi K3 (Moonshot AI): 2,85 / 14,25 доллара, контекст 1 млн токенов
- Qwen3.8 Max (Alibaba): 1,85 / 5,55 доллара, контекст 1 млн токенов
- GLM 5.3 (Z.ai): 1,35 / 4,25 доллара, контекст 1 млн токенов
- DeepSeek V4 Pro: 1,65 / 3,65 доллара, контекст 1 млн токенов
- DeepSeek V4.1 Flash: 0,30 / 1,20 доллара, контекст 1 млн токенов
- Mercury 3 (Inception): 0,10 / 0,35 доллара, контекст 1 млн токенов
- GPT-OSS 120B (OpenAI): 0,097 / 0,73 доллара, контекст 125 тыс. токенов
Muse Wonder, Muse Spark 1.3, GLM 5.3 Flash, Qwen3.8 Flash и MiniMax M3 дополняют список.
Как работает встроенный веб-поиск?
Разработчики объявляют инструмент web_search или web_extract, после чего маршрутизатор выполняет поиск для модели. В документации указано до 20 результатов на один поиск и по умолчанию 30 раундов поиска. Ответы возвращают объект web_results с цитатами.
Поиск выполняется на том же сервере, что и модель. You.com заявляет, что внутренние тесты показали снижение задержки до 15%.
Имитировать сбой</button>
<span class="status" id="ydcStat">простой</span>
</div>
</div>
<div class="grid3">
<div class="stat"><b>≥99,9%</b><span>SLA по времени безотказной работы с сервисными кредитами</span></div>
<div class="stat"><b>0%</b><span>Платформенная комиссия (OpenRouter: 5,5%)</span></div>
<div class="stat"><b>До 15%</b><span>Меньшая задержка, поиск на стороне сервера (внутренний тест)</span></div>
</div>
<p class="note">Партнёры для резервного переключения, названные в публикации о запуске: Parasail, Wafer, Alibaba Cloud, Meta, Inception; Prime Intellect будет добавлен позднее. Резервное переключение никогда не меняет цену.</p>
</div>
<!-- 1: модели -->
<div class="pn" data-p="1">
<div class="seg" id="ydcSeg"><button class="on" data-m="in">Ввод $/1 млн</button><button data-m="out">Вывод $/1 млн</button></div>
<div class="rows" id="ydcModels"></div>
<p class="note">Цены за 1 млн токенов с you.com/product/inference-router/models, проверено 22 октября 2026 года. Все модели размещены в США и поддерживают ZDR.</p>
</div>
<!-- 2: бенчмарки -->
<div class="pn" data-p="2">
<div class="seg" id="ydcBseg"><button class="on" data-m="acc">Точность</button><button data-m="cost">Стоимость за вопрос</button></div>
<div class="rows" id="ydcBench"></div>
<p class="note">LiveNewsBench, 1329 вопросов, цены по прайс-листу. Шкала точности начинается с 80%. Собственный тест You.com за октябрь 2026 года с использованием поисковой оценки с открытым исходным кодом Braintrust (по данным самой компании). Фиолетовый = модель с открытыми весами + поиск You.com; серый = закрытая модель со встроенным поиском.</p>
</div>
<!-- 3: сравнение -->
<div class="pn" data-p="3">
<div class="tw"><table>
<thead><tr><th></th><th>You.com</th><th>OpenRouter</th><th>Together AI</th><th>Fireworks AI</th></tr></thead>
<tbody>
<tr class="hl"><td>SLA по времени безотказной работы</td><td>≥99,9%, оплата по мере использования</td><td>Не раскрывается</td><td>По возможности; 99% при обязательстве по PTU</td><td>Не раскрывается</td></tr>
<tr class="hl"><td>ZDR</td><td>По умолчанию, модели + поиск</td><td>По умолчанию запросы не журналируются</td><td>По умолчанию отключён</td><td>По умолчанию включён (модели с открытыми весами)</td></tr>
<tr class="hl"><td>Платформенная комиссия</td><td>0%</td><td>5,5%</td><td>Не указана</td><td>Не указана</td></tr>
<tr class="hl"><td>Kimi K3, ввод/вывод</td><td>2,85 / 14,25 доллара</td><td>Зависит от провайдера</td><td>3,00 / 15,00 доллара</td><td>3,00 / 15,00 доллара (только США: 4,50 / 22,50 доллара)</td></tr>
<tr class="hl"><td>Размещение в США</td><td>100%, включая резервное переключение</td><td>Зависит от провайдера</td><td>Не раскрывается</td><td>Тариф для США с доплатой</td></tr>
</tbody>
</table></div>
<p class="note">Источники: openrouter.ai/docs/faq, together.ai/pricing, docs.together.ai, docs.fireworks.ai/serverless/pricing. Проверено 22 октября 2026 года.</p>
</div>
<!-- 4: быстрый старт -->
<div class="pn" data-p="4">
<div class="steps"><button class="btn" data-s="0">1 · Установка</button><button class="btn" data-s="1">2 · Изменить базовый URL</button><button class="btn" data-s="2">3 · Добавить поиск</button></div>
<pre><code id="ydcCode"></code></pre>
<p class="stepTxt" id="ydcStep"></p>
</div>
<div class="ft"><span>Источники: публикация You.com о запуске, страница моделей, документация · Числа указаны по данным самой компании, если не отмечено иное</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div>
</div>
<script>
(function(){
var R=document.getElementById('ydc-ir');
function post(){try{parent.postMessage({ydcH:R.offsetHeight+40},'*')}catch(e){}}
R.querySelectorAll('.tab').forEach(function(t){t.onclick=function(){
R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on');
R.querySelectorAll('.pn').forEach(function(p){p.classList.toggle('on',p.dataset.p==t.dataset.t)});
if(t.dataset.t=='0')layout(); if(t.dataset.t=='1')drawM(); if(t.dataset.t=='2')drawB(); if(t.dataset.t=='4')step(0);
setTimeout(post,60);}});
/* маршрутизация */
var F=document.getElementById('ydcFlow'),W=document.getElementById('ydcWires'),ST=document.getElementById('ydcStat');
var N={app:'n-app',r:'n-r',s:'n-s',d:'n-d',p:'n-p'},down=false,busy=false;
function el(k){return document.getElementById(N[k])}
function layout(){var w=F.clientWidth,h=F.clientHeight,m=w<520;
var pos=m?{app:[.5,.07],r:[.5,.38],s:[.5,.66],d:[.22,.93],p:[.78,.93]}:{app:[.1,.5],r:[.42,.5],s:[.42,.12],d:[.82,.25],p:[.82,.78]};
for(var k in pos){var e=el(k);e.style.left=(pos[k][0]*w-e.offsetWidth/2)+'px';e.style.top=(pos[k][1]*h-e.offsetHeight/2)+'px'}
wires();}
function c(k){var e=el(k);return[e.offsetLeft+e.offsetWidth/2,e.offsetTop+e.offsetHeight/2]}
function wires(){W.querySelectorAll('path').forEach(function(p){p.remove()});
[['app','r'],['r','s'],['r','d'],['r','p']].forEach(function(pr){var a=c(pr[0]),b=c(pr[1]),p=document.createElementNS('http://www.w3.org/2000/svg','path');
p.setAttribute('d','M'+a[0]+' '+a[1]+' L'+b[0]+' '+b[1]);p.setAttribute('class','w');p.id='w-'+pr[0]+pr[1];W.appendChild(p)})}
function clear(){R.querySelectorAll('.node').forEach(function(n){n.classList.remove('hot','fo')});W.querySelectorAll('.w').forEach(function(w){w.classList.remove('act')})}
function hot(k,cls){el(k).classList.add(cls||'hot')}
function wire(id){var w=document.getElementById('w-'+id);if(w)w.classList.add('act')}
function run(search){if(busy)return;busy=true;clear();var t=0,seq=[];
seq.push(function(){hot('app');wire('appr');ST.textContent='запрос → маршрутизатор'});
seq.push(function(){hot('r')});
if(search)seq.push(function(){wire('rs');hot('s');ST.textContent='web_search выполняется на стороне сервера'});
if(!down)seq.push(function(){wire('rd');hot('d');ST.textContent='обслуживается Inference Direct · ZDR'});
else{seq.push(function(){ST.textContent='Inference Direct недоступен…'});
seq.push(function(){wire('rp');hot('p','fo');ST.textContent='автоматическое переключение на партнёра в США · та же цена'})}
seq.push(function(){busy=false});
seq.forEach(function(f){setTimeout(f,t);t+=650})}
document.getElementById('ydcSend').onclick=function(){run(false)};
document.getElementById('ydcSearch').onclick=function(){run(true)};
document.getElementById('ydcFail').onclick=function(){down=!down;el('d').classList.toggle('down',down);this.textContent=down?'✓ Восстановить доступность':'
Имитировать сбой';ST.textContent=down?'Inference Direct: недоступен':'Inference Direct: доступен'};
window.addEventListener('resize',function(){layout();post()});
/* модели */
var M=[['Kimi K3','Moonshot AI · 1M',2.85,14.25],['Muse Wonder','Meta · 1M',4.00,20.00],['Qwen3.8 Max','Alibaba · 1M',1.85,5.55],['DeepSeek V4 Pro','DeepSeek · 1M',1.65,3.65],['GLM 5.3','Z.ai · 1M',1.35,4.25],['Muse Spark 1.3','Meta · 1M',1.25,4.25],['DeepSeek V4.1 Flash','DeepSeek · 1M',0.30,1.20],['MiniMax M3','MiniMax · 512K',0.29,1.16],['GLM 5.3 Flash','Z.ai · 1M',0.14,0.48],['Qwen3.8 Flash','Alibaba · 1M',0.14,0.43],['Mercury 3','Inception · 1M',0.10,0.35],['GPT-OSS 120B','OpenAI · 125K',0.097,0.73]];
var mode='in',MB=document.getElementById('ydcModels');
function drawM(){var i=mode=='in'?2:3,mx=Math.max.apply(null,M.map(function(r){return r[i]}));
var s=M.slice().sort(function(a,b){return b[i]-a[i]});
MB.innerHTML=s.map(function(r){return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i data-w="'+(r[i]/mx*100)+'"></i></div><div class="val">$'+r[i].toFixed(r[i]<0.1?3:2)+'</div></div>'}).join('');
requestAnimationFrame(function(){MB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()}
R.querySelectorAll('#ydcSeg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcSeg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');mode=b.dataset.m;drawM()}});
/* тесты */
var B=[['GPT-6.1 Sol','встроенный поиск',86.53,0.0591,0],['GLM-5.3','+ поиск You.com',86.53,0.0485,1],['Claude Sonnet 5.5','встроенный поиск',86.38,0.0920,0],['DeepSeek V4.1 Flash','+ поиск You.com',84.12,0.0215,1]];
var bm='acc',BB=document.getElementById('ydcBench');
function drawB(){BB.innerHTML=B.map(function(r){var v=bm=='acc'?r[2]:r[3],w=bm=='acc'?(r[2]-80)/(90-80)*100:r[3]/0.0920*100;
return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i class="'+(r[4]?'':'alt')+'" data-w="'+w+'"></i></div><div class="val">'+(bm=='acc'?v.toFixed(2)+'%':'$'+v.toFixed(4))+'</div></div>'}).join('');
requestAnimationFrame(function(){BB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()}
R.querySelectorAll('#ydcBseg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcBseg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');bm=b.dataset.m;drawB()}});
/* быстрый старт */
var CODE=[
'<span class="c"># Используем стандартный OpenAI SDK</span>\npip install openai',
'<span class="k">from</span> openai <span class="k">import</span> OpenAI\n\nclient = OpenAI(\n<span class="hlline"> base_url=<span class="s">"https://api.you.com/v1"</span>, <span class="c"># единственная изменяемая строка</span></span>\n api_key=<span class="s">"YDC_API_KEY"</span>,\n)\n\nresp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>, <span class="s">"content"</span>: <span class="s">"Привет"</span>}],\n)',
'resp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>,\n <span class="s">"content"</span>: <span class="s">"Что изменилось в последнем выпуске Python?"</span>}],\n<span class="hlline"> tools=[{<span class="s">"type"</span>: <span class="s">"web_search"</span>, <span class="s">"freshness"</span>: <span class="s">"month"</span>, <span class="s">"count"</span>: 5}],</span>\n)\n<span class="c"># ответ + цитаты возвращаются в resp.web_results</span>'];
var TXT=['Inference Router поддерживает форматы API OpenAI и Anthropic, поэтому существующие SDK работают.','Замените базовый URL и ключ. Ваш существующий код, совместимый с OpenAI, теперь работает с Inference Router.','Объявите инструмент web_search, и маршрутизатор выполнит поиск на стороне сервера, вернув источники в web_results.'];
function step(i){document.getElementById('ydcCode').innerHTML=CODE[i];document.getElementById('ydcStep').textContent=TXT[i];
R.querySelectorAll('.steps .btn').forEach(function(b){b.style.borderColor=b.dataset.s==i?'#7b6cff':''});post()}
R.querySelectorAll('.steps .btn').forEach(function(b){b.onclick=function(){step(+b.dataset.s)}});
layout();setTimeout(function(){layout();post()},300);window.addEventListener('load',post);post();
})();
</script>
</body></html>
">
Что показывают тесты?
You.com сообщает о тесте LiveNewsBench на 1329 вопросах с использованием оценки поиска с открытым исходным кодом Braintrust. Эти цифры предоставлены самой компанией:
| Конфигурация | Точность | Средняя стоимость за вопрос |
|---|---|---|
| GPT-6.1 Sol, встроенный поиск | 86,53% | 0,0591 доллара |
| GLM-5.3 + поиск You.com | 86,53% | 0,0485 доллара |
| Claude Sonnet 5.5, встроенный поиск | 86,38% | 0,0920 доллара |
| DeepSeek V4.1 Flash + поиск You.com | 84,12% | 0,0215 доллара |
DeepSeek V4.1 Flash стоит примерно на 77% дешевле за вопрос, чем Claude Sonnet 5.5. При этом он уступает ему 2,26 процентного пункта.
В собственном исследовании Braintrust за август использовались более старые модели. Тогда DeepSeek V4 Flash с поиском You.com достигла точности 80,66% при стоимости 0,0163 доллара за вопрос. Claude Sonnet 5 со встроенным поиском набрала 78,78% при стоимости 0,1148 доллара.
You.com также ссылается на совместную работу с NVIDIA и CoreWeave. Дообучение Nemotron 3.5 Lightning с использованием поиска You.com повысило результат BrowseComp с 36,97% до 45,45%. Количество вызовов инструментов сократилось на 30%.
Как сервис сравнивается с OpenRouter, Together AI и Fireworks AI?
| Показатель | You.com Inference Router | OpenRouter | Together AI (бессерверный режим) | Fireworks AI (бессерверный режим) |
|---|---|---|---|---|
| Модель | Сначала собственные мощности, затем резервное переключение на партнёров | Агрегатор сторонних провайдеров | Собственное облако вывода | Собственное облако вывода |
| SLA по времени безотказной работы | Не менее 99,9%, с кредитами, при оплате по мере использования | Не раскрывается; автоматический резервный переход | По возможности; SLA 99% запросов только при выделенной пропускной способности (минимум 1 месяц) | Не раскрывается |
| Нулевое хранение данных | По умолчанию, для моделей и веб-поиска | По умолчанию запросы не журналируются; правила зависят от провайдера | По умолчанию отключено; администратор может включить | По умолчанию включено для моделей с открытыми весами |
| Размещение в США | 100%, включая резервное переключение | Зависит от провайдера | Для бессерверного режима не раскрывается | Тариф только для США с доплатой |
| Платформенная комиссия | 0% | 5,5% при покупке кредитов (минимум 0,80 доллара) | Не указана | Не указана |
| Kimi K3 (ввод / вывод за 1 млн) | 2,85 / 14,25 доллара | От 0,238 / 16 долларов до 4,50 / 22,50 доллара, в зависимости от провайдера | 3,00 / 15,00 доллара | 3,00 / 15,00 доллара; только США — 4,50 / 22,50 доллара |
| DeepSeek V4.1 Flash (ввод / вывод за 1 млн) | 0,30 / 1,20 доллара | Не проверялось | 0,30 / 1,20 доллара | 0,30 / 1,20 доллара; только США — 0,45 / 1,80 доллара |
| Веб-поиск на стороне сервера | Да, на том же сервере, что и модель | Серверный инструмент, сторонний поиск | Не раскрывается | Сторонние поисковые провайдеры |
Самое заметное преимущество по цене — по сравнению с тарифом Fireworks только для США. В этом случае You.com примерно на 37% дешевле Fireworks по стоимости входных токенов Kimi K3.
Основные выводы
- 12 моделей с открытыми весами доступны через 1 базовый URL, совместимый с OpenAI.
- SLA по времени безотказной работы не менее 99,9% при оплате по мере использования, с компенсацией в виде кредитов.
- ZDR распространяется как на вызовы моделей, так и на веб-поиск.
- Платформенная комиссия составляет 0% против 5,5% у OpenRouter.
- Цены за токены близки к рыночным; ценность заключается в гарантиях.
Ознакомьтесь с публикацией о запуске, изучите список моделей и документацию для разработчиков. Все заслуги принадлежат исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? Теперь к нам можно присоединиться и в Telegram.
Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.