Представяме Cloudflare Clef-omni: мултимодален модел за вземане на решения 30B-A3B за аудио, видео, изображения и текст

Cloudflare пусна Clef-omni, нов член с отворени тегла на семейството модели за вземане на решения Clef. Clef-omni е модел на Cloudflare за вземане на решения, който оценява текст, изображения, аудио и видео с 1 извикване. Той беше представен на 9 октомври 2026 г., 8 дни след първоначалното представяне на Clef и Clef-flash. Същата актуализация намали цената на Clef-flash под тази на Jev на TypeSafe и направи хоствания Clef приблизително 2 пъти по-бърз. За разработчиците това премахва стъпките за транскрипция и създаване на надписи, които обикновено са необходими при мултимодалните агентни конвейери.

Накратко

• Размер: общо 30B, 3B активни параметри (MoE); контекст от 64 000 токена в Workers AI
• Работи на: Workers AI като @cf/cloudflare/clef-omni; самостоятелното хостване е тествано на един H200, с около 64 GB GPU памет в bfloat16
• Производителност: близо до Clef при задачи за маршрутизиране и разпознаване на намерения, но изостава от него при повечето оценки на разсъжденията и работните процеси
• Най-добър резултат: 97.7 macro-F1 на CLINC150+OOS, най-висок резултат сред 4-те модела Clef и Jev
• Най-слаб резултат: 2.6 точност на POP909-CL и 47.4 на GPQA Diamond спрямо 78.3 за Jev
• Извод:
  • Най-добро: едно извикване взема решение за 4 модалности.
  • Най-лошо: по-слаба точност от фокусирания върху текст Clef при сложни задачи за разсъждение.

Какво представлява моделът за вземане на решения?

Моделът за вземане на решения връща типизирани отговори с вероятности вместо генериран текст. Изпращате state и схема от въпроси. Моделът връща вероятност за всяка разрешена опция. Clef поддържа 3 типа въпроси: noul (вярно или невярно), choice и score. Форматът следва API интерфейса на Jev и SystemOne от TypeSafe AI.

Как работи Clef-omni?

Clef-omni е дообучен върху Qwen3-Omni-30B-A3B-Instruct. Cloudflare запазва основата за разбиране и премахва пътя за извеждане на текст към реч. Моделът изпълнява еднократно предварително попълване върху целия набор от данни. Кадрите от видеото и аудиото се синхронизират в 1 последователност за съвместна обработка.

След това малка съвместна глава за схеми оценява опциите. Всяка валидна опция първо събира доказателства от входа. Векторите на полетата след това използват кръстосано внимание върху целия контекст, за да изчислят оценките на увереност. Cloudflare замразява основата Qwen3 и обучава LoRA адаптери. Обучението комбинира кръстосана ентропия с изгладени етикети и калибриране по оценката на Brier.

Поддържани входове в Workers AI според документацията за разработчици:

• Изображения: до 4, PNG, JPEG или WebP, от 64 до 1 024 токена всяко
• Аудио: до 4 клипа, WAV или MP3, по 300 секунди всеки, около 780 токена на минута
• Видео: до 2 клипа, MP4 или WebM, по 60 секунди всеки, семплирани при 2 кадъра в секунда
• Въпроси: от 1 до 64 на заявка

Cloudflare съобщава, че текстовите решения отнемат около 130 ms при медианна стойност, а изображенията — около 150 ms. 21-секундно видео със звук се оценява за около 1,5 секунди.

Как се представя Clef-omni на бенчмарковете?

Cloudflare сравни Clef-omni с Clef, Clef-flash и Jev в своето изпълнение на Decision Index. Clef-omni води при класификацията на намерения: 94.8 macro-F1 на BANKING77 и 97.7 на CLINC150+OOS. Той също така заема първо място в Amazon ESCI с 57.8.

В други области изостава. Точността за домакински уреди при точно съвпадение е 69.3 спрямо 97.73 за Clef-flash. Точността на When2Call е 63.3 спрямо 80.97 за Jev. При оценките на работни процеси на TypeSafe Clef-omni има по-нисък резултат от Clef и по 5-те отчетени показателя.

Clef-omni срещу Clef срещу Clef-flash срещу Jev

Характеристика	Clef-omni	Clef	Clef-flash	Jev
Разработчик	Cloudflare	Cloudflare	Cloudflare	TypeSafe AI
Параметри	общо 30B, 3B активни (MoE)	27B плътни	9B плътни	Не са разкрити
Базов модел	Qwen3-Omni-30B-A3B-Instruct	Qwen3.8-27B	Qwen3.5-9B	Не е разкрит
Входове	Текст, изображение, аудио, видео	Текст, изображение, видеокадри	Текст, изображение, видеокадри	Текст (според Cloudflare)
Хостван контекст	64 000 токена	64k	24k (256k при самостоятелно хостване)	Не е разкрит от TypeSafe (Cloudflare посочва 32k)
Цена на входа за 1 млн. токена	$0.15	$0.24	$0.038	$0.042
Лиценз	Apache-2.0	Apache-2.0	Apache-2.0	Само API, ранен достъп
BANKING77 (macro-F1)	94.8	94.20	90.93	79.74
CLINC150+OOS (macro-F1)	97.7	97.43	66.77	89.27
When2Call (точност)	63.3	72.37	65.58	80.97
BRIGHT (nDCG@10)	42.0	45.91	39.26	47.52
Обработка на фактури, основно действие	82.0	86.2	73.3	83.1

Резултатите от бенчмарковете са от съобщението на Cloudflare и не са независимо проверени.

Колко по-бърз е Clef?

Cloudflare премести хоствания Clef към SGLang и оптимизира стека за обслужване. Нови тегла не бяха публикувани. Медианната латентност спадна от 262 ms на 152 ms при около 800 токена, което представлява 1,7-кратно подобрение. При около 3 400 токена тя спадна от 616 ms на 305 ms, което представлява 2,0-кратно подобрение. При около 16 000 токена спадна от 2 721 ms на 1 635 ms. Поддръжката на Clef ще бъде включена в SGLang 0.5.22.

Основни изводи

• Clef-omni оценява текст, изображения, аудио и видео с 1 извикване за вземане на решение.
• Това е MoE модел 30B-A3B върху Qwen3-Omni, с лиценз Apache-2.0 и цена $0.15 за един милион токена.
• Clef-flash вече струва $0.038 — по-малко от $0.042 на Jev — с хостван контекст от 24k.
• Хостваният Clef е от 1,7 до 2,0 пъти по-бърз при медианна стойност след преминаването към SGLang.
• Clef-omni печели при задачите за разпознаване на намерения, но изостава от Clef при оценките на разсъжденията и работните процеси.

---

Разгледайте съобщението на Cloudflare, и документацията за Workers AI. Всички заслуги са за изследователя на този проект. Също така, можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? сега можете да се присъедините към нас и в Telegram.