Sakhanda Wire
NVDA $153.75 -1.53% MSFT $506.06 -2.30% GOOGL $279.99 -1.31% META $621.17 -0.84% AMZN $257.88 +0.05%

MarkTechPost

396 новини · всички източници

MarkTechPost

llm-d 1.0 добавя маршрутизиране според кеша за AI инференция

Google, Red Hat и IBM представиха llm-d 1.0 — първата стабилна версия на open-source, Kubernetes-native стек за разпределен инференс на големи езикови модели. Той обединява сървъри с vLLM и SGLang в общ пул, предназначен за самостоятелно хоствани агентни и reinforcement learning натоварвания. Проектът е в CNCF Sandbox, лицензът му е Apache 2.0, а участниците са над 500 от повече от 25 организации.

MarkTechPost

Google пусна TorchTPU с отворен код за Cloud TPU

Google публикува с отворен код TorchTPU — бекенд за PyTorch, предназначен за Cloud TPU и разработен съвместно с екипа на PyTorch в Meta. Проектът беше представен на PyTorch Conference 2026 на 20 октомври 2026 г. Съществуващ PyTorch код може да използва TPU чрез torch.device("tpu"), така че ускорителите да се избират наред с CPU и GPU. Google препоръчва TorchTPU за нови работни натоварвания вместо PyTorch/XLA.

MarkTechPost

DeepSeek пусна с отворен код инференс рамката DeepInfer

DeepSeek публикува DeepInfer — инференс рамката, използвана за продукционното обслужване на DeepSeek-V4.1-Flash. Проектът е под лиценз Apache 2.0, а слоят за кодиране и декодиране на токени deepseek-recipe е под MIT лиценз. DeepInfer е предназначена за офлайн инференс и поддържа един модел с контекстен прозорец от 1M токена.

MarkTechPost

Exa 3.0 отчита водещи резултати в осем теста за търсене

Exa представи Exa 3.0 — обновление на хостван API за търсене в мрежата, предназначено за AI агенти. Версията включва по-голям embedding модел, чийто размер не е обявен, както и разширен независим индекс, създаден от собствения краулер на компанията. Той обхваща над 2 трилиона URL адреса и 100 милиарда страници.

MarkTechPost

Cloudflare представи Clairic за извличане на данни в Workers AI

Cloudflare представи в предварителен достъп Clairic — модел System One за извличане на структурирана информация от текст и изображения. Вместо да създава свободен текст, той връща типизирани стойности, включително числа, дати, продължителности, списъци, оценки и прогнози. Заявката може да съдържа текст и до четири изображения, както и именувани полета с инструкции на естествен език. Всяка скаларна стойност включва оценка за увереност и p_null — вероятността стойността да липсва. За текст се връщат точни откъси и позиции на символите, а прогнозите включват медиана и 80% интервал.

MarkTechPost

Inception представи дифузионния езиков модел Mercury 3

Inception представи Mercury 3 — дифузионен голям езиков модел, който създава отговорите чрез паралелно прецизиране, вместо да генерира токените последователно. Компанията съобщава за скорост от 1 068 токена в секунда на NVIDIA GPU и контекст от 1 милион токена. Броят параметри и точният модел на използваните графични процесори не са обявени. Mercury 3 се предлага само чрез API, без отворени тегла или квантизирани версии.

MarkTechPost

Nace AI представи Drex Max за агенти, управляващи компютри

Nace AI представи Drex Max — мултимодален модел за вземане на решения, предназначен за агенти, които работят с компютри и браузъри. Моделът обработва текст и изображения и връща калибрирани вероятности, вместо да генерира текст. Заявката съдържа състояние и въпроси с предварително зададени от потребителя отговори: да или не, избор на етикет или оценка по подредена скала. В една API заявка могат да се изпратят до 16 въпроса.

MarkTechPost

MiniMax пусна MoE модела M3.1 Flash с контекст от един милион токена

MiniMax представи M3.1 Flash — мултимоделен модел с архитектура mixture-of-experts, общо 428B параметъра и около 23B активни параметъра. Той приема текст, изображения и видео, генерира текст и поддържа контекст от 1 000 000 токена. Моделът е насочен към програмиране, агентни офис задачи и визуално разсъждение. По-ранна версия на M3.1 Flash, наречена Space Bunny, е обработила над 200T токена.

MarkTechPost

NVIDIA публикува Run:ai като отворен код под Apache 2.0

NVIDIA публикува цялата платформа Run:ai за оркестрация на GPU натоварвания под лиценза Apache 2.0. Изходният код е достъпен в GitHub и включва контролен слой, услуги за клъстери, инсталатор, команден интерфейс и MCP сървър. Run:ai работи върху Kubernetes или OpenShift с NVIDIA GPU и управлява задачи за разработка, обучение и инференция, без да заменя Kubernetes.

MarkTechPost

Mistral AI представи семейство модели за прогнозиране Timestral

Mistral AI представи Timestral — първото си семейство фундаментални модели за времеви редове. То включва четири модела за прогнозиране без допълнително обучение, с 5M, 28M, 123M и 209M параметъра. Най-големият работи с контекст до 32 768 времеви стъпки и може да генерира прогнози на стандартен сървърен процесор без GPU. Теглата се разпространяват по модифициран MIT лиценз, според съобщението.

MarkTechPost

TinyFish премахва таксите за търсене, но моделите продължават да струват

AI агентите плащат два отделни вида разходи при работа с уебсайтове: такси за търсене или извличане на страници и обработка от модела на полученото съдържание, разсъжденията и отговора. TinyFish предлага Search и Fetch без такса за извличане в рамките на обявените ограничения, но страниците все пак използват токени и създават разходи за модела. Лимитите са 30 заявки за Search на минута и 500 на час, както и 150 URL адреса за Fetch на минута и 1000 дневно. Agent и Browser се таксуват отделно.

MarkTechPost

Google Research публикува Harness² за подобряване на AI агенти

Google Research публикува с отворен код Harness² — рамка с лиценз Apache-2.0, която променя кода и файловете около даден AI модел, без да обновява теглата му. Рамката предлага осем редактируеми компонента: системна подкана, защитни правила, памет, указания за инструменти, подагенти, умения, скриптове и плъгини. Версията е 0.1.0, работи под Linux с Python 3.12 или 3.13 и uv, а извикванията към моделите преминават през Vertex AI.