Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%

MarkTechPost

396 новин · усі джерела

MarkTechPost

Buoyant випустила Kinference для керування inference у Kubernetes

Компанія Buoyant випустила Kinference — проєкт із відкритим кодом і ліцензією Apache 2.0 для створення inference-платформ на Kubernetes із vLLM. Система, написана мовою Rust, працює перед групою vLLM workers і визначає кінцеву точку для кожного запиту. Вона поєднує декларативну маршрутизацію, обмеження швидкості за токенами, балансування з урахуванням KV-кешу та метрики для кожного tenant. Поточний випуск має номер v0.1.0-alpha.7, а налаштування виконуються через п’ять користувацьких ресурсів Kubernetes.

MarkTechPost

Zyphra випустила FP8-ядра уваги для AMD MI355X

Zyphra представила ZYFA — бібліотеку з відкритим кодом для ядер уваги prefill у форматах FP8 і BF16 на графічних процесорах AMD Instinct MI355X. Проєкт поширюється за ліцензією Apache 2.0 і призначений для причинно-наслідкової forward-уваги під час роботи з довгим контекстом. Підтримуються FP8 e4m3, BF16, розмірність голови 128 і форми MLA 192/128. Бібліотека працює на MI355X із ROCm 7.2.3 та PyTorch 2.12 і має сумісний із flash_attn_func інтерфейс.

MarkTechPost

Thinking Machines Lab випустила Inkling 2 Small на 594 млрд параметрів

Thinking Machines Lab випустила Inkling 2 Small — першу модель другого покоління Inkling. Це розріджена система Mixture-of-Experts із 594B загальних і 17B активних параметрів. Модель приймає текст і зображення, підтримує змінний рівень зусиль для міркування та контекст обсягом 1M токенів. Аудіовхід наразі не підтримується.

MarkTechPost

Google випустила Gemini Omni 1.2 Flash для 15-секундного відео

Google випустила Gemini Omni 1.2 Flash — мультимодальну модель для створення й редагування відео. Вона приймає текст, зображення, короткі відеокліпи та аудіо, а генерує відео зі звуком. Модель доступна через Gemini API і Google Cloud. Її ваги закриті, тому локальне розгортання не підтримується.

MarkTechPost

Baidu випустила базову модель ERNIE 5.5 Flash на 280 млрд параметрів

Baidu випустила ERNIE 5.5 Flash Base — текстову розріджену модель Mixture-of-Experts із 280 млрд параметрів, з яких для кожного токена активуються 14 млрд. Опублікований чекпойнт містить лише результат попереднього навчання, без проміжного чи подальшого навчання. За даними Baidu, модель навчали з нуля на 33,5 трлн токенів за допомогою оптимізатора Muon. Контекст під час навчання становить 128K токенів, а для донавчання та інференсу — до 1 млн токенів.

MarkTechPost

Together AI представила компілятор для постійної оптимізації інференсу

Together AI представила Together Compiler (TKCC) — систему з агентами, яка повторно оптимізує прямий прохід інференсу зі зміною виробничого трафіку. Вона отримує команду запуску сервера, профіль трафіку та конфігурацію обладнання. Агенти, що пишуть код, пропонують варіанти, а постійно запущений рушій вимірює їх і може розгорнути найшвидший. За даними компанії, система вже працює на кількох її serverless-ендпойнтах.

MarkTechPost

OpenAI випустила моделі GPT-Image-2.6 Flare та Sunburst

OpenAI випустила Images 2.6 для ChatGPT, Codex і API. Для розробників GPT-Image-2.6 доступна у двох варіантах: Flare призначена для швидких ітерацій та інтерактивних сценаріїв, а Sunburst — для детальних композицій і послідовнішого редагування. За даними OpenAI, генерація зображень стала на 50% швидшою, ніж у попередньому випуску. За низької якості Flare може повернути зображення всього за шість секунд.

MarkTechPost

Google Research представила Agile Deliberation для суб’єктивної класифікації зображень

Google Research випустила Agile Deliberation — фреймворк із залученням людини для створення класифікаторів зображень у випадках, коли межі категорії визначаються суб’єктивно. Серед прикладів — «здорове харчування», надихаючі твори мистецтва та клікбейт. Користувачеві не потрібно заздалегідь мати повне визначення: система допомагає уточнити поняття за допомогою спірних, або граничних, зображень. Сформульований опис одночасно є зрозумілою політикою та текстовим запитом для візуально-мовної моделі.

MarkTechPost

webAI випустила модель міркувань TwIL-8B

webAI випустила TwIL-8B — щільну модель міркувань із 8,79 млрд параметрів, донавчену на основі IBM Granite 4.2 8B. Модель працює лише з англійським текстом на вході та виході, підтримує контекст на 131 072 токени й поширюється за ліцензією webAI Non-Commercial 1.0. Збірка Q4_K_M у форматі GGUF займає 4,98 GiB, що дає змогу запускати її локально на CPU або GPU з помірним обсягом відеопам’яті. Повні ваги bf16 потребують 16,38 GiB.

MarkTechPost

Ricursive випустила 65B-модель для агентного програмування

Ricursive Intelligence випустила Ripple-65B Preview — щільну мовну модель із 65 млрд параметрів, навчену з нуля для агентного програмування. Модель навчали на 12 трлн токенів, вона підтримує контекст до 1 млн токенів і поширюється за ліцензією Apache 2.0. До релізу увійшли BF16-версія з донавчанням на інструкціях, експериментальна версія NVFP4 і базова BF16-модель.

MarkTechPost

Tencent випустила WeVisOne-VL для об’єднання завдань комп’ютерного зору

Команда WeChat Vision компанії Tencent випустила WeVisOne-VL — візуально-мовну модель з ліцензією Apache 2.0 у версіях 2B і 4B. Вона поєднує виявлення об’єктів, пошук за описом, підрахунок, вказування, OCR, сегментацію та альфа-матинг. Піксельні результати створює декодер на 9.6M параметрів, тому окрема модель SAM не потрібна. Якщо запитаний об’єкт відсутній, система може повернути None замість помилкової рамки.

MarkTechPost

Anthropic випустила FlashProve для перевірки роботи моделей

Команда Frontier Red Team компанії Anthropic представила FlashProve — відкритий дослідницький прототип на основі zkSNARK, який доводить, що відповідь створила конкретна модель із заздалегідь зафіксованими вагами. Доказ не розкриває ваги моделі. Система має розв’язати проблему API-сервісів: користувач не може самостійно перевірити, яка модель сформувала відповідь і чи не змінювався потік токенів.