Знакомьтесь: Cloudflare Clef-omni — мультимодальная модель принятия решений 30B-A3B для аудио, видео, изображений и текста
Cloudflare выпустила Clef-omni — нового представителя семейства моделей принятия решений Clef с открытыми весами. Clef-omni — это модель принятия решений Cloudflare, которая оценивает текст, изображения, аудио и видео за 1 вызов. Она вышла 9 октября 2026 года, через 8 дней после первоначального запуска Clef и Clef-flash. То же обновление снизило цену Clef-flash ниже Jev от TypeSafe и сделало размещённую версию Clef примерно в 2 раза быстрее. Для разработчиков это устраняет этапы транскрибации и создания субтитров, которые обычно требуются мультимодальным агентским конвейерам.
Кратко
- Размер: 30 млрд параметров всего, 3 млрд активных параметров (MoE); контекст в 64 000 токенов в Workers AI
- Запускается в: Workers AI как
@cf/cloudflare/clef-omni; тестирование самостоятельного размещения проводилось на одном H200, требуется около 64 ГБ видеопамяти в формате bfloat16 - Производительность: близка к Clef в задачах маршрутизации и определения намерений, но уступает ей в большинстве тестов на рассуждение и рабочие процессы
- Лучший результат: 97,7 macro-F1 на CLINC150+OOS — лучший показатель среди 4 моделей Clef и Jev
- Худший результат: точность 2,6 на POP909-CL и 47,4 на GPQA Diamond против 78,3 у Jev
- Итог:
- Плюс: один вызов позволяет принимать решения по 4 модальностям.
- Минус: более низкая точность, чем у ориентированной на текст Clef, в сложных задачах на рассуждение.
Что такое модель принятия решений?
Модель принятия решений возвращает типизированные ответы с вероятностями вместо сгенерированного текста. Вы отправляете state и схему вопросов. Модель возвращает вероятность для каждого разрешённого варианта. Clef поддерживает 3 типа вопросов: noul (истина или ложь), choice и score. Формат следует API Jev и SystemOne от TypeSafe AI.
Как работает Clef-omni?
Clef-omni дообучена на базе Qwen3-Omni-30B-A3B-Instruct. Cloudflare сохранила основу для понимания и удалила путь вывода текста в речь. Модель выполняет один проход предварительного заполнения по всему входному содержимому. Кадры видео и аудио синхронизируются в 1 последовательность для совместной обработки.
Затем небольшая совместная схема-голова оценивает варианты. Каждый допустимый вариант сначала собирает свидетельства из входных данных. Векторы полей затем взаимодействуют с полным контекстом посредством cross-attention для вычисления оценок уверенности. Cloudflare заморозила основу Qwen3 и обучила LoRA-адаптеры. В процессе обучения сочетались кросс-энтропия со сглаживанием меток и калибровка по оценке Бриера.
Поддерживаемые входные данные в Workers AI согласно документации для разработчиков:
- Изображения: до 4, PNG, JPEG или WebP, от 64 до 1 024 токенов каждое
- Аудио: до 4 фрагментов, WAV или MP3, по 300 секунд каждый, около 780 токенов в минуту
- Видео: до 2 фрагментов, MP4 или WebM, по 60 секунд, выборка выполняется со скоростью 2 кадра в секунду
- Вопросы: от 1 до 64 на запрос
Cloudflare сообщает, что решения для текста принимаются примерно за 130 мс по медианному значению, а для изображений — примерно за 150 мс. Видео продолжительностью 21 секунда со звуком оценивается примерно за 1,5 секунды.
Как Clef-omni показывает себя в тестах?
Cloudflare сравнила Clef-omni с Clef, Clef-flash и Jev в рамках своего запуска Decision Index. Clef-omni лидирует в классификации намерений: 94,8 macro-F1 на BANKING77 и 97,7 на CLINC150+OOS. Она также занимает первое место на Amazon ESCI с результатом 57,8.
В остальных задачах она уступает. Точность case-exact для бытовой техники составляет 69,3 против 97,73 у Clef-flash. Точность на When2Call — 63,3 против 80,97 у Jev. В тестах рабочих процессов TypeSafe Clef-omni набирает меньше Clef по всем 5 представленным метрикам.
Clef-omni против Clef, Clef-flash и Jev
| Характеристика | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| Разработчик | Cloudflare | Cloudflare | Cloudflare | TypeSafe AI |
| Параметры | 30 млрд всего, 3 млрд активных (MoE) | 27 млрд, плотная архитектура | 9 млрд, плотная архитектура | Не раскрыто |
| Базовая модель | Qwen3-Omni-30B-A3B-Instruct | Qwen3.8-27B | Qwen3.5-9B | Не раскрыто |
| Входные данные | Текст, изображения, аудио, видео | Текст, изображения, кадры видео | Текст, изображения, кадры видео | Текст (согласно Cloudflare) |
| Контекст в размещённой версии | 64 000 токенов | 64 тыс. | 24 тыс. (256 тыс. при самостоятельном размещении) | TypeSafe не раскрывает (Cloudflare указывает 32 тыс.) |
| Цена входных данных за 1 млн токенов | $0,15 | $0,24 | $0,038 | $0,042 |
| Лицензия | Apache-2.0 | Apache-2.0 | Apache-2.0 | Только API, ранний доступ |
| BANKING77 (macro-F1) | 94,8 | 94,20 | 90,93 | 79,74 |
| CLINC150+OOS (macro-F1) | 97,7 | 97,43 | 66,77 | 89,27 |
| When2Call (точность) | 63,3 | 72,37 | 65,58 | 80,97 |
| BRIGHT (nDCG@10) | 42,0 | 45,91 | 39,26 | 47,52 |
| Обработка счетов, основное действие | 82,0 | 86,2 | 73,3 | 83,1 |
Результаты тестов взяты из анонса Cloudflare и не проверялись независимо.
Насколько быстрее стала Clef?
Cloudflare перевела размещённую версию Clef на SGLang и настроила стек обслуживания. Новые веса не выпускались. Медианная задержка снизилась с 262 мс до 152 мс примерно при 800 токенах — прирост составил 1,7 раза. Примерно при 3 400 токенах она снизилась с 616 мс до 305 мс — прирост составил 2,0 раза. Примерно при 16 000 токенах она уменьшилась с 2 721 мс до 1 635 мс. Поддержка Clef появится в SGLang 0.5.22.
Ключевые выводы
- Clef-omni оценивает текст, изображения, аудио и видео за 1 вызов для принятия решения.
- Это MoE-модель 30B-A3B на базе Qwen3-Omni с лицензией Apache-2.0 и ценой $0,15 за миллион токенов.
- Теперь Clef-flash стоит $0,038 — меньше $0,042 у Jev — и предоставляет контекст в 24 тыс. токенов в размещённой версии.
- После перехода на SGLang размещённая версия Clef стала в 1,7–2,0 раза быстрее по медианному показателю.
- Clef-omni лучше справляется с задачами на определение намерений, но уступает Clef в тестах на рассуждение и рабочие процессы.
Ознакомьтесь с анонсом Cloudflare, весами модели и документацией Workers AI. Все заслуги принадлежат исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.