Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%

MarkTechPost

396 новини · всички източници

MarkTechPost

Buoyant представи контролен слой Kinference за vLLM в Kubernetes

Buoyant представи Kinference — проект с отворен код и лиценз Apache 2.0, предназначен за inference платформи с vLLM в Kubernetes. Написаната на Rust система стои пред група от vLLM workers и управлява избора на крайна точка за всяка заявка. Тя обединява декларативни правила за маршрутизация, ограничения на токовата честота, балансиране според KV кеша и метрики по клиент. Версията е v0.1.0-alpha.7 и използва пет Kubernetes custom resources.

MarkTechPost

Zyphra пусна FP8 ядра за внимание за AMD MI355X

Zyphra представи ZYFA — библиотека с отворен код за ядра за prefill внимание във FP8 и BF16 за графични процесори AMD Instinct MI355X. Проектът е публикуван под Apache 2.0 и е предназначен за причинно-следствено forward внимание при дълъг контекст. Поддържат се FP8 e4m3, BF16, размерност на главата 128 и MLA форми 192/128. ZYFA работи с MI355X, ROCm 7.2.3 и PyTorch 2.12 и предлага съвместим с flash_attn_func интерфейс.

MarkTechPost

Thinking Machines Lab пусна Inkling 2 Small с 594 млрд. параметъра

Thinking Machines Lab представи Inkling 2 Small, първия модел от второто поколение Inkling. Системата е разреден Mixture-of-Experts модел с общо 594B параметъра и 17B активни параметъра. Тя приема текст и изображения, поддържа променливо усилие за разсъждение и има контекст от 1M токена. Аудио вход не се поддържа.

MarkTechPost

Google представи Gemini Omni 1.2 Flash за 15-секундно видео

Google представи Gemini Omni 1.2 Flash — мултимодален модел за създаване и редактиране на видео. Той приема текст, изображения, кратки видеоклипове и аудио, а резултатът включва видео и звук. Моделът е общодостъпен чрез Gemini API и Google Cloud. Теглата му са затворени и не се предлага локално изпълнение.

MarkTechPost

Baidu пусна базовия модел ERNIE 5.5 Flash с 280 млрд. параметъра

Baidu представи ERNIE 5.5 Flash Base — текстов разреден Mixture-of-Experts модел с общо 280 млрд. параметъра, от които 14 млрд. се активират за всеки токен. Публикуваните тегла са само от предварителното обучение, без междинно или последващо обучение. Според Baidu моделът е обучен от нулата върху 33,5 трлн. токена с оптимизатора Muon. Контекстът при обучението е 128K токена, а при дообучаване и извеждане достига 1 млн. токена.

MarkTechPost

Together AI представи компилатор за постоянно оптимизиране на инференса

Together AI представи Together Compiler (TKCC) — система с автономни агенти, която многократно оптимизира forward pass етапа на инференса според промените в производствения трафик. Тя приема команда за стартиране на сървъра, профил на трафика и хардуерна конфигурация. Кодиращи агенти предлагат варианти, а постоянно работещият inference engine ги измерва и може да внедри най-добрия. Според компанията системата вече се използва на няколко нейни serverless endpoints.

MarkTechPost

OpenAI пусна моделите GPT-Image-2.6 Flare и Sunburst

OpenAI пусна Images 2.6 в ChatGPT, Codex и API платформата си. За разработчици GPT-Image-2.6 се предлага в два модела: Flare, предназначен за бързи итерации и интерактивна работа, и Sunburst, насочен към детайлни композиции и по-последователно редактиране. Според OpenAI генерирането на изображения е с 50% по-бързо спрямо предишното издание, а Flare може да върне изображение за едва шест секунди при ниско качество.

MarkTechPost

Google Research представи Agile Deliberation за субективна класификация на изображения

Google Research представи Agile Deliberation — рамка с участие на човек за създаване на класификатори на изображения при категории с неясни и субективни граници, като „здравословна храна“ или кликбейт. Вместо да изисква предварително готово определение, системата помага на потребителя да го изгради чрез преглед на гранични изображения. Полученият текст служи едновременно като разбираема политика и като подадена инструкция към визуално-езиков модел.

MarkTechPost

webAI представи разсъждаващия модел TwIL-8B

webAI представи TwIL-8B — плътен модел за разсъждение с 8,79 млрд. параметъра, дообучен върху IBM Granite 4.2 8B. Той работи само с текст на английски език, има контекст от 131 072 токена и се разпространява с лиценз webAI Non-Commercial 1.0. Квантизирана версия Q4_K_M във формат GGUF заема 4,98 GiB и е предназначена за локално използване на процесор или видеокарта с умерена видеопамет. Пълните bf16 тегла изискват 16,38 GiB.

MarkTechPost

Ricursive представи 65B модел за агентно програмиране

Ricursive Intelligence представи Ripple-65B Preview — плътен езиков модел с 65 млрд. параметъра, обучен от нулата за агентно програмиране. Той е обучен с 12 трилиона токена, поддържа контекст до 1 млн. токена и се разпространява под лиценза Apache 2.0. Пускането включва BF16 модел с дообучение за инструкции, експериментална NVFP4 версия и базов BF16 модел.

MarkTechPost

Tencent представи WeVisOne-VL за комбинирани зрителни задачи

Екипът WeChat Vision на Tencent представи WeVisOne-VL — зрително-езиков модел с лиценз Apache 2.0 във версии 2B и 4B. Той обединява откриване на обекти, рефериране, броене, посочване, OCR, сегментация и алфа матинг. Пикселните резултати се генерират от декодер с 9.6M параметра, така че не е необходим отделен SAM. При липсващ търсен обект моделът може да върне None, вместо да предвиди ограничителна рамка.

MarkTechPost

Anthropic представи FlashProve за проверимо извеждане от модели

Екипът Frontier Red Team на Anthropic представи FlashProve — отворен изследователски прототип, който използва zkSNARKs, за да доказва, че даден отговор е генериран от конкретен предварително ангажиран модел. Доказателството не разкрива теглата на модела. Системата цели да реши проблем при API услугите: потребителят не може самостоятелно да потвърди кой модел е отговорил или дали потокът от токени е бил променен.