Sakhanda Wire
NVDA $212.21 -4.40% MSFT $521.08 -2.23% GOOGL $324.22 -3.15% META $648.85 -6.98% AMZN $250.38 -4.57%
← К новостям

You.com запускает Inference Router: 12 моделей с открытыми весами и SLA с доступностью 99,9%

You.com запустила Inference Router — управляемый API для запуска моделей с открытыми весами в промышленной среде. You.com Inference Router — совместимый с OpenAI сервис, который распределяет запросы между 12 доступными моделями. Он включает SLA с минимальным временем безотказной работы 99,9% и нулевое хранение данных (ZDR). Также сервис поддерживает размещение на 100% территории США и веб-поиск на стороне сервера. Оплата производится по мере использования, без платформенной комиссии.

Кратко

  • Масштаб: 12 доступных моделей — от GPT-OSS 120B (контекст 125 тыс. токенов) до Kimi K3 и Qwen3.8 Max (контекст 1 млн токенов). Kimi K3 — модель с 2,8 трлн параметров; Qwen3.8 Max — MoE-модель с 2,4 трлн параметров.
  • Работа: полностью управляемая инфраструктура. Сначала запросы попадают в You.com Inference Direct, затем при необходимости перенаправляются к партнёрам, размещённым в США. Управлять GPU не требуется.
  • Производительность: в тесте You.com LiveNewsBench модели с открытыми весами вместе с поиском You.com показали результаты на уровне передовых моделей при меньшей стоимости.
  • Лучший результат: GLM-5.3 с поиском You.com набрала 86,53% при стоимости 0,0485 доллара за вопрос против 0,0920 доллара у Claude Sonnet 5.5 (по данным самой компании).
  • Худший результат: цены за токены близки к рыночным. Kimi K3 стоит 2,85/14,25 доллара — всего на 5% дешевле, чем 3,00/15,00 доллара у Together AI.

Что такое You.com Inference Router?

Это единый API для множества моделей с открытыми весами. Конечная точка — https://api.you.com, доступны маршруты, совместимые с OpenAI и Anthropic. Для переноса существующего кода SDK достаточно изменить базовый URL и ключ.

Команда You.com связывает проблему с остановившимися миграциями. Команды разработчиков тестируют модели с открытыми весами через агрегаторы, а затем сталкиваются с проверкой безопасности. Проверяющие задают вопросы о ZDR, размещении в США, контроле доступа и DPA. Специализированные провайдеры соответствуют этим требованиям, но обычно требуют значительных обязательств. Inference Router призван закрыть этот пробел.

Как работают маршрутизация и резервное переключение?

Каждый запрос сначала направляется в You.com Inference Direct — собственную вычислительную инфраструктуру компании. Если она недоступна или перегружена, запрос перенаправляется к проверенному партнёру. В официальной публикации названы Parasail, Wafer, Alibaba Cloud, Meta и Inception; Prime Intellect будет добавлен позднее. Все они размещают инфраструктуру на 100% территории США и должны соблюдать правила ZDR.

Резервное переключение не меняет стоимость. Для каждой модели опубликована единая цена за токены. You.com также предлагает ограничения расходов для каждого API-ключа и ежедневный просмотр использования по модели, стоимости и провайдеру. Учётные записи работают на инфраструктуре, соответствующей требованиям SOC 2; DPA предоставляется по запросу.

На что распространяется нулевое хранение данных?

В политике ZDR указано, что запросы и ответы обрабатываются в памяти и не сохраняются. Это относится как к вызовам моделей, так и к поисковым запросам. You.com хранит только операционные метаданные, например количество токенов, временные метки и идентификаторы учётных записей. Хэши запросов, обезличенный текст и кэши запросов на диске прямо исключены.

Какие модели доступны и сколько они стоят?

На странице моделей перечислены 12 доступных моделей, все размещены в США. Цены указаны за 1 млн токенов (входные / выходные):

  • Kimi K3 (Moonshot AI): 2,85 / 14,25 доллара, контекст 1 млн токенов
  • Qwen3.8 Max (Alibaba): 1,85 / 5,55 доллара, контекст 1 млн токенов
  • GLM 5.3 (Z.ai): 1,35 / 4,25 доллара, контекст 1 млн токенов
  • DeepSeek V4 Pro: 1,65 / 3,65 доллара, контекст 1 млн токенов
  • DeepSeek V4.1 Flash: 0,30 / 1,20 доллара, контекст 1 млн токенов
  • Mercury 3 (Inception): 0,10 / 0,35 доллара, контекст 1 млн токенов
  • GPT-OSS 120B (OpenAI): 0,097 / 0,73 доллара, контекст 125 тыс. токенов

Muse Wonder, Muse Spark 1.3, GLM 5.3 Flash, Qwen3.8 Flash и MiniMax M3 дополняют список.

Как работает встроенный веб-поиск?

Разработчики объявляют инструмент web_search или web_extract, после чего маршрутизатор выполняет поиск для модели. В документации указано до 20 результатов на один поиск и по умолчанию 30 раундов поиска. Ответы возвращают объект web_results с цитатами.

Поиск выполняется на том же сервере, что и модель. You.com заявляет, что внутренние тесты показали снижение задержки до 15%.

Отправить запрос</button> <button class="btn" id="ydcSearch">+ С web_search</button> <button class="btn" id="ydcFail">⚠ Имитировать сбой</button> <span class="status" id="ydcStat">простой</span> </div> </div> <div class="grid3"> <div class="stat"><b>≥99,9%</b><span>SLA по времени безотказной работы с сервисными кредитами</span></div> <div class="stat"><b>0%</b><span>Платформенная комиссия (OpenRouter: 5,5%)</span></div> <div class="stat"><b>До 15%</b><span>Меньшая задержка, поиск на стороне сервера (внутренний тест)</span></div> </div> <p class="note">Партнёры для резервного переключения, названные в публикации о запуске: Parasail, Wafer, Alibaba Cloud, Meta, Inception; Prime Intellect будет добавлен позднее. Резервное переключение никогда не меняет цену.</p> </div> <!-- 1: модели --> <div class="pn" data-p="1"> <div class="seg" id="ydcSeg"><button class="on" data-m="in">Ввод $/1 млн</button><button data-m="out">Вывод $/1 млн</button></div> <div class="rows" id="ydcModels"></div> <p class="note">Цены за 1 млн токенов с you.com/product/inference-router/models, проверено 22 октября 2026 года. Все модели размещены в США и поддерживают ZDR.</p> </div> <!-- 2: бенчмарки --> <div class="pn" data-p="2"> <div class="seg" id="ydcBseg"><button class="on" data-m="acc">Точность</button><button data-m="cost">Стоимость за вопрос</button></div> <div class="rows" id="ydcBench"></div> <p class="note">LiveNewsBench, 1329 вопросов, цены по прайс-листу. Шкала точности начинается с 80%. Собственный тест You.com за октябрь 2026 года с использованием поисковой оценки с открытым исходным кодом Braintrust (по данным самой компании). Фиолетовый = модель с открытыми весами + поиск You.com; серый = закрытая модель со встроенным поиском.</p> </div> <!-- 3: сравнение --> <div class="pn" data-p="3"> <div class="tw"><table> <thead><tr><th></th><th>You.com</th><th>OpenRouter</th><th>Together AI</th><th>Fireworks AI</th></tr></thead> <tbody> <tr class="hl"><td>SLA по времени безотказной работы</td><td>≥99,9%, оплата по мере использования</td><td>Не раскрывается</td><td>По возможности; 99% при обязательстве по PTU</td><td>Не раскрывается</td></tr> <tr class="hl"><td>ZDR</td><td>По умолчанию, модели + поиск</td><td>По умолчанию запросы не журналируются</td><td>По умолчанию отключён</td><td>По умолчанию включён (модели с открытыми весами)</td></tr> <tr class="hl"><td>Платформенная комиссия</td><td>0%</td><td>5,5%</td><td>Не указана</td><td>Не указана</td></tr> <tr class="hl"><td>Kimi K3, ввод/вывод</td><td>2,85 / 14,25 доллара</td><td>Зависит от провайдера</td><td>3,00 / 15,00 доллара</td><td>3,00 / 15,00 доллара (только США: 4,50 / 22,50 доллара)</td></tr> <tr class="hl"><td>Размещение в США</td><td>100%, включая резервное переключение</td><td>Зависит от провайдера</td><td>Не раскрывается</td><td>Тариф для США с доплатой</td></tr> </tbody> </table></div> <p class="note">Источники: openrouter.ai/docs/faq, together.ai/pricing, docs.together.ai, docs.fireworks.ai/serverless/pricing. Проверено 22 октября 2026 года.</p> </div> <!-- 4: быстрый старт --> <div class="pn" data-p="4"> <div class="steps"><button class="btn" data-s="0">1 · Установка</button><button class="btn" data-s="1">2 · Изменить базовый URL</button><button class="btn" data-s="2">3 · Добавить поиск</button></div> <pre><code id="ydcCode"></code></pre> <p class="stepTxt" id="ydcStep"></p> </div> <div class="ft"><span>Источники: публикация You.com о запуске, страница моделей, документация · Числа указаны по данным самой компании, если не отмечено иное</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div> </div> <script> (function(){ var R=document.getElementById('ydc-ir'); function post(){try{parent.postMessage({ydcH:R.offsetHeight+40},'*')}catch(e){}} R.querySelectorAll('.tab').forEach(function(t){t.onclick=function(){ R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); R.querySelectorAll('.pn').forEach(function(p){p.classList.toggle('on',p.dataset.p==t.dataset.t)}); if(t.dataset.t=='0')layout(); if(t.dataset.t=='1')drawM(); if(t.dataset.t=='2')drawB(); if(t.dataset.t=='4')step(0); setTimeout(post,60);}}); /* маршрутизация */ var F=document.getElementById('ydcFlow'),W=document.getElementById('ydcWires'),ST=document.getElementById('ydcStat'); var N={app:'n-app',r:'n-r',s:'n-s',d:'n-d',p:'n-p'},down=false,busy=false; function el(k){return document.getElementById(N[k])} function layout(){var w=F.clientWidth,h=F.clientHeight,m=w<520; var pos=m?{app:[.5,.07],r:[.5,.38],s:[.5,.66],d:[.22,.93],p:[.78,.93]}:{app:[.1,.5],r:[.42,.5],s:[.42,.12],d:[.82,.25],p:[.82,.78]}; for(var k in pos){var e=el(k);e.style.left=(pos[k][0]*w-e.offsetWidth/2)+'px';e.style.top=(pos[k][1]*h-e.offsetHeight/2)+'px'} wires();} function c(k){var e=el(k);return[e.offsetLeft+e.offsetWidth/2,e.offsetTop+e.offsetHeight/2]} function wires(){W.querySelectorAll('path').forEach(function(p){p.remove()}); [['app','r'],['r','s'],['r','d'],['r','p']].forEach(function(pr){var a=c(pr[0]),b=c(pr[1]),p=document.createElementNS('http://www.w3.org/2000/svg','path'); p.setAttribute('d','M'+a[0]+' '+a[1]+' L'+b[0]+' '+b[1]);p.setAttribute('class','w');p.id='w-'+pr[0]+pr[1];W.appendChild(p)})} function clear(){R.querySelectorAll('.node').forEach(function(n){n.classList.remove('hot','fo')});W.querySelectorAll('.w').forEach(function(w){w.classList.remove('act')})} function hot(k,cls){el(k).classList.add(cls||'hot')} function wire(id){var w=document.getElementById('w-'+id);if(w)w.classList.add('act')} function run(search){if(busy)return;busy=true;clear();var t=0,seq=[]; seq.push(function(){hot('app');wire('appr');ST.textContent='запрос → маршрутизатор'}); seq.push(function(){hot('r')}); if(search)seq.push(function(){wire('rs');hot('s');ST.textContent='web_search выполняется на стороне сервера'}); if(!down)seq.push(function(){wire('rd');hot('d');ST.textContent='обслуживается Inference Direct · ZDR'}); else{seq.push(function(){ST.textContent='Inference Direct недоступен…'}); seq.push(function(){wire('rp');hot('p','fo');ST.textContent='автоматическое переключение на партнёра в США · та же цена'})} seq.push(function(){busy=false}); seq.forEach(function(f){setTimeout(f,t);t+=650})} document.getElementById('ydcSend').onclick=function(){run(false)}; document.getElementById('ydcSearch').onclick=function(){run(true)}; document.getElementById('ydcFail').onclick=function(){down=!down;el('d').classList.toggle('down',down);this.textContent=down?'✓ Восстановить доступность':'⚠ Имитировать сбой';ST.textContent=down?'Inference Direct: недоступен':'Inference Direct: доступен'}; window.addEventListener('resize',function(){layout();post()}); /* модели */ var M=[['Kimi K3','Moonshot AI · 1M',2.85,14.25],['Muse Wonder','Meta · 1M',4.00,20.00],['Qwen3.8 Max','Alibaba · 1M',1.85,5.55],['DeepSeek V4 Pro','DeepSeek · 1M',1.65,3.65],['GLM 5.3','Z.ai · 1M',1.35,4.25],['Muse Spark 1.3','Meta · 1M',1.25,4.25],['DeepSeek V4.1 Flash','DeepSeek · 1M',0.30,1.20],['MiniMax M3','MiniMax · 512K',0.29,1.16],['GLM 5.3 Flash','Z.ai · 1M',0.14,0.48],['Qwen3.8 Flash','Alibaba · 1M',0.14,0.43],['Mercury 3','Inception · 1M',0.10,0.35],['GPT-OSS 120B','OpenAI · 125K',0.097,0.73]]; var mode='in',MB=document.getElementById('ydcModels'); function drawM(){var i=mode=='in'?2:3,mx=Math.max.apply(null,M.map(function(r){return r[i]})); var s=M.slice().sort(function(a,b){return b[i]-a[i]}); MB.innerHTML=s.map(function(r){return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i data-w="'+(r[i]/mx*100)+'"></i></div><div class="val">$'+r[i].toFixed(r[i]<0.1?3:2)+'</div></div>'}).join(''); requestAnimationFrame(function(){MB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()} R.querySelectorAll('#ydcSeg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcSeg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');mode=b.dataset.m;drawM()}}); /* тесты */ var B=[['GPT-6.1 Sol','встроенный поиск',86.53,0.0591,0],['GLM-5.3','+ поиск You.com',86.53,0.0485,1],['Claude Sonnet 5.5','встроенный поиск',86.38,0.0920,0],['DeepSeek V4.1 Flash','+ поиск You.com',84.12,0.0215,1]]; var bm='acc',BB=document.getElementById('ydcBench'); function drawB(){BB.innerHTML=B.map(function(r){var v=bm=='acc'?r[2]:r[3],w=bm=='acc'?(r[2]-80)/(90-80)*100:r[3]/0.0920*100; return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i class="'+(r[4]?'':'alt')+'" data-w="'+w+'"></i></div><div class="val">'+(bm=='acc'?v.toFixed(2)+'%':'$'+v.toFixed(4))+'</div></div>'}).join(''); requestAnimationFrame(function(){BB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()} R.querySelectorAll('#ydcBseg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcBseg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');bm=b.dataset.m;drawB()}}); /* быстрый старт */ var CODE=[ '<span class="c"># Используем стандартный OpenAI SDK</span>\npip install openai', '<span class="k">from</span> openai <span class="k">import</span> OpenAI\n\nclient = OpenAI(\n<span class="hlline"> base_url=<span class="s">"https://api.you.com/v1"</span>, <span class="c"># единственная изменяемая строка</span></span>\n api_key=<span class="s">"YDC_API_KEY"</span>,\n)\n\nresp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>, <span class="s">"content"</span>: <span class="s">"Привет"</span>}],\n)', 'resp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>,\n <span class="s">"content"</span>: <span class="s">"Что изменилось в последнем выпуске Python?"</span>}],\n<span class="hlline"> tools=[{<span class="s">"type"</span>: <span class="s">"web_search"</span>, <span class="s">"freshness"</span>: <span class="s">"month"</span>, <span class="s">"count"</span>: 5}],</span>\n)\n<span class="c"># ответ + цитаты возвращаются в resp.web_results</span>']; var TXT=['Inference Router поддерживает форматы API OpenAI и Anthropic, поэтому существующие SDK работают.','Замените базовый URL и ключ. Ваш существующий код, совместимый с OpenAI, теперь работает с Inference Router.','Объявите инструмент web_search, и маршрутизатор выполнит поиск на стороне сервера, вернув источники в web_results.']; function step(i){document.getElementById('ydcCode').innerHTML=CODE[i];document.getElementById('ydcStep').textContent=TXT[i]; R.querySelectorAll('.steps .btn').forEach(function(b){b.style.borderColor=b.dataset.s==i?'#7b6cff':''});post()} R.querySelectorAll('.steps .btn').forEach(function(b){b.onclick=function(){step(+b.dataset.s)}}); layout();setTimeout(function(){layout();post()},300);window.addEventListener('load',post);post(); })(); </script> </body></html> ">

Что показывают тесты?

You.com сообщает о тесте LiveNewsBench на 1329 вопросах с использованием оценки поиска с открытым исходным кодом Braintrust. Эти цифры предоставлены самой компанией:

КонфигурацияТочностьСредняя стоимость за вопрос
GPT-6.1 Sol, встроенный поиск86,53%0,0591 доллара
GLM-5.3 + поиск You.com86,53%0,0485 доллара
Claude Sonnet 5.5, встроенный поиск86,38%0,0920 доллара
DeepSeek V4.1 Flash + поиск You.com84,12%0,0215 доллара

DeepSeek V4.1 Flash стоит примерно на 77% дешевле за вопрос, чем Claude Sonnet 5.5. При этом он уступает ему 2,26 процентного пункта.

В собственном исследовании Braintrust за август использовались более старые модели. Тогда DeepSeek V4 Flash с поиском You.com достигла точности 80,66% при стоимости 0,0163 доллара за вопрос. Claude Sonnet 5 со встроенным поиском набрала 78,78% при стоимости 0,1148 доллара.

You.com также ссылается на совместную работу с NVIDIA и CoreWeave. Дообучение Nemotron 3.5 Lightning с использованием поиска You.com повысило результат BrowseComp с 36,97% до 45,45%. Количество вызовов инструментов сократилось на 30%.

Как сервис сравнивается с OpenRouter, Together AI и Fireworks AI?

ПоказательYou.com Inference RouterOpenRouterTogether AI (бессерверный режим)Fireworks AI (бессерверный режим)
МодельСначала собственные мощности, затем резервное переключение на партнёровАгрегатор сторонних провайдеровСобственное облако выводаСобственное облако вывода
SLA по времени безотказной работыНе менее 99,9%, с кредитами, при оплате по мере использованияНе раскрывается; автоматический резервный переходПо возможности; SLA 99% запросов только при выделенной пропускной способности (минимум 1 месяц)Не раскрывается
Нулевое хранение данныхПо умолчанию, для моделей и веб-поискаПо умолчанию запросы не журналируются; правила зависят от провайдераПо умолчанию отключено; администратор может включитьПо умолчанию включено для моделей с открытыми весами
Размещение в США100%, включая резервное переключениеЗависит от провайдераДля бессерверного режима не раскрываетсяТариф только для США с доплатой
Платформенная комиссия0%5,5% при покупке кредитов (минимум 0,80 доллара)Не указанаНе указана
Kimi K3 (ввод / вывод за 1 млн)2,85 / 14,25 доллараОт 0,238 / 16 долларов до 4,50 / 22,50 доллара, в зависимости от провайдера3,00 / 15,00 доллара3,00 / 15,00 доллара; только США — 4,50 / 22,50 доллара
DeepSeek V4.1 Flash (ввод / вывод за 1 млн)0,30 / 1,20 доллараНе проверялось0,30 / 1,20 доллара0,30 / 1,20 доллара; только США — 0,45 / 1,80 доллара
Веб-поиск на стороне сервераДа, на том же сервере, что и модельСерверный инструмент, сторонний поискНе раскрываетсяСторонние поисковые провайдеры

Самое заметное преимущество по цене — по сравнению с тарифом Fireworks только для США. В этом случае You.com примерно на 37% дешевле Fireworks по стоимости входных токенов Kimi K3.

Основные выводы

  • 12 моделей с открытыми весами доступны через 1 базовый URL, совместимый с OpenAI.
  • SLA по времени безотказной работы не менее 99,9% при оплате по мере использования, с компенсацией в виде кредитов.
  • ZDR распространяется как на вызовы моделей, так и на веб-поиск.
  • Платформенная комиссия составляет 0% против 5,5% у OpenRouter.
  • Цены за токены близки к рыночным; ценность заключается в гарантиях.

Ознакомьтесь с публикацией о запуске, изучите список моделей и документацию для разработчиков. Все заслуги принадлежат исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? Теперь к нам можно присоединиться и в Telegram.

Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами

Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Текст и изображения принадлежат MarkTechPost и приводятся здесь с указанием авторства и ссылкой на оригинальную публикацию.

← К новостям

Ещё новости

Все последние новости