Знайомтеся: Cloudflare Clef-omni — мультимодальна модель ухвалення рішень 30B-A3B для аудіо, відео, зображень і тексту
Cloudflare випустила Clef-omni — нового учасника сімейства моделей ухвалення рішень Clef з відкритими вагами. Clef-omni — це модель ухвалення рішень Cloudflare, яка оцінює текст, зображення, аудіо та відео за 1 виклик. Вона з’явилася 9 жовтня 2026 року, через 8 днів після початкового запуску Clef і Clef-flash. Це саме оновлення знизило ціну Clef-flash нижче за Jev від TypeSafe і зробило розміщену Clef приблизно вдвічі швидшою. Для розробників це усуває етапи транскрибування та створення субтитрів, які зазвичай потрібні мультимодальним конвеєрам агентів.
Коротко
- Розмір: 30B загалом, 3B активних параметрів (MoE); контекст на 64 000 токенів у Workers AI
- Запускається на: Workers AI як
@cf/cloudflare/clef-omni; самостійне розгортання протестовано на одному H200, приблизно 64 ГБ пам’яті GPU у форматі bfloat16 - Продуктивність: близька до Clef у завданнях маршрутизації та визначення намірів, але поступається їй у більшості тестів на міркування та робочі процеси
- Найкращий результат: 97.7 macro-F1 на CLINC150+OOS — найкращий показник серед 4 моделей Clef і Jev
- Найгірший результат: точність 2.6 на POP909-CL і 47.4 на GPQA Diamond проти 78.3 у Jev
- Підсумок:
- Найкраще: один виклик ухвалює рішення щодо 4 модальностей.
- Найгірше: нижча точність, ніж у текстової Clef, у складних завданнях на міркування.
Що таке модель ухвалення рішень?
Модель ухвалення рішень повертає типізовані відповіді з імовірностями замість згенерованого тексту. Ви надсилаєте state і схему запитань. Модель повертає ймовірність для кожного дозволеного варіанта. Clef підтримує 3 типи запитань: noul (істина або хиба), choice і score. Формат відповідає API Jev і SystemOne від TypeSafe AI.
Як працює Clef-omni?
Clef-omni донавчено на основі Qwen3-Omni-30B-A3B-Instruct. Cloudflare зберігає основу для розуміння та вилучає шлях виведення тексту в мовлення. Модель виконує один прохід попереднього заповнення для всього запиту. Кадри відео та аудіо синхронізуються в 1 послідовність для спільної обробки.
Потім невелика спільна голова схеми оцінює варіанти. Кожен дійсний варіант спочатку збирає докази з вхідних даних. Вектори полів потім виконують перехресну увагу по всьому контексту для обчислення оцінок упевненості. Cloudflare заморозила основу Qwen3 і навчила адаптери LoRA. Навчання поєднувало перехресну ентропію зі згладжуванням міток із калібруванням за оцінкою Бр’єра.
Підтримувані вхідні дані у Workers AI, згідно з документацією для розробників:
- Зображення: до 4, PNG, JPEG або WebP, від 64 до 1 024 токенів кожне
- Аудіо: до 4 кліпів, WAV або MP3, по 300 секунд кожен, приблизно 780 токенів на хвилину
- Відео: до 2 кліпів, MP4 або WebM, по 60 секунд, вибірка з частотою 2 кадри на секунду
- Запитання: від 1 до 64 на запит
Cloudflare повідомляє, що текстові рішення приймаються приблизно за 130 мс у медіані, а зображення — приблизно за 150 мс. Відео тривалістю 21 секунда зі звуком оцінюється приблизно за 1,5 секунди.
Як Clef-omni показує себе в бенчмарках?
Cloudflare порівняла Clef-omni з Clef, Clef-flash і Jev у межах свого запуску Decision Index. Clef-omni лідирує у класифікації намірів: 94.8 macro-F1 на BANKING77 і 97.7 на CLINC150+OOS. Вона також очолює рейтинг Amazon ESCI з результатом 57.8.
В інших завданнях вона поступається. Точність зіставлення випадків у категорії побутової техніки становить 69.3 проти 97.73 у Clef-flash. Точність When2Call — 63.3 проти 80.97 у Jev. У тестах робочих процесів TypeSafe Clef-omni набирає менше за Clef за всіма 5 опублікованими показниками.
Clef-omni проти Clef, Clef-flash і Jev
| Характеристика | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| Розробник | Cloudflare | Cloudflare | Cloudflare | TypeSafe AI |
| Параметри | 30B загалом, 3B активних (MoE) | 27B щільних | 9B щільних | Не розкрито |
| Базова модель | Qwen3-Omni-30B-A3B-Instruct | Qwen3.8-27B | Qwen3.5-9B | Не розкрито |
| Вхідні дані | Текст, зображення, аудіо, відео | Текст, зображення, кадри відео | Текст, зображення, кадри відео | Текст (за даними Cloudflare) |
| Контекст у розміщеній версії | 64 000 токенів | 64k | 24k (256k у самостійно розгорнутій версії) | TypeSafe не розкрила (Cloudflare вказує 32k) |
| Ціна вхідних даних за 1 млн токенів | $0.15 | $0.24 | $0.038 | $0.042 |
| Ліцензія | Apache-2.0 | Apache-2.0 | Apache-2.0 | Лише API, ранній доступ |
| BANKING77 (macro-F1) | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS (macro-F1) | 97.7 | 97.43 | 66.77 | 89.27 |
| When2Call (точність) | 63.3 | 72.37 | 65.58 | 80.97 |
| BRIGHT (nDCG@10) | 42.0 | 45.91 | 39.26 | 47.52 |
| Обробка рахунків, основна дія | 82.0 | 86.2 | 73.3 | 83.1 |
Результати бенчмарків узято з оголошення Cloudflare і не було незалежно перевірено.
Наскільки швидшою стала Clef?
Cloudflare перенесла розміщену Clef на SGLang і налаштувала стек обслуговування. Нові ваги не випускалися. Медіанна затримка зменшилася з 262 мс до 152 мс приблизно на 800 токенах — приріст у 1,7 раза. Приблизно на 3 400 токенах вона зменшилася з 616 мс до 305 мс — приріст у 2,0 раза. Приблизно на 16 000 токенах вона скоротилася з 2 721 мс до 1 635 мс. Підтримка Clef з’явиться в SGLang 0.5.22.
Ключові висновки
- Clef-omni оцінює текст, зображення, аудіо та відео за 1 виклик для ухвалення рішення.
- Це MoE 30B-A3B на базі Qwen3-Omni, з ліцензією Apache-2.0, за ціною $0.15 за мільйон токенів.
- Тепер Clef-flash коштує $0.038 — менше за $0.042 у Jev — і має контекст 24k у розміщеній версії.
- Після переходу на SGLang розміщена Clef стала швидшою в 1,7–2,0 раза за медіанним показником.
- Clef-omni перемагає в завданнях на визначення намірів, але поступається Clef у тестах на міркування та робочі процеси.
Ознайомтеся з оголошенням Cloudflare, вагами моделі та документацією Workers AI. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого 150-тисячного ML SubReddit та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.