Cloudflare представила Clairic, модель вилучення даних System One у Workers AI
Cloudflare випустила попередню версію Clairic — нової моделі вилучення System One у Workers AI. Модель вилучення Cloudflare Clairic читає текст або зображення й повертає типізовані значення, а не згенерований текст. Вона призначена для завдання, яке розробники зазвичай доручають LLM: вилучати підсумки, дати та ідентифікатори у форматі JSON. Clairic обробляє кожне запитуване поле за 1 прямий прохід, без міркувань і вихідних токенів.
Коротко
- Розмір: Кількість параметрів не розкривається. Контекстне вікно на 65 536 токенів, до 4 зображень на запит.
- Працює на: GPU, розміщених Cloudflare, через Workers AI (
@cf/cloudflare/clairic). Локального варіанта не буде, доки не буде опубліковано ваги. - Продуктивність: Вилучення за частки секунди у тестах Cloudflare. Стандартний бенчмарк точності поки не опубліковано.
- Найкращий результат: Етап вилучення зайняв 0,46 с проти 16,1 с у GLM-5.3 у процесі обробки заявок Cloudflare.
- Найгірший результат: 4 із 21 прогнозу TSA на наступний день вийшли за межі її 80%-го інтервалу. Багатокрокова арифметика ненадійна.
Що таке Clairic?
Clairic — це модель Cloudflare, яка вилучає, обчислює, оцінює та прогнозує типізовані значення з неструктурованих даних. Вона розвиває ідею System One від Jev від TypeSafe, названого на честь швидкого, інтуїтивного мислення Канемана.
Jev і власна модель Cloudflare Clef є моделями ухвалення рішень. Вони оцінюють варіанти, які ви заздалегідь перелічили. Clairic охоплює відповіді, які неможливо перелічити наперед, наприклад загальну суму рахунку, дату або вартість ремонту.
Cloudflare описує стек із 3 частин. Моделі вилучення перетворюють необроблені дані на типізовані значення. Моделі ухвалення рішень перетворюють значення на рішення. LLM перетворюють рішення на слова.
Як працює запит до Clairic?
Запит містить state (текст і до 4 зображень) та карту іменованих типізованих fields. Кожне поле може містити інструкції звичайною мовою. Підтримувані типи: текст, число, дата, час, дата й час, тривалість, список, оцінка та прогноз, згідно з журналом змін Workers AI.
Кожна скалярна відповідь містить p_null — імовірність відсутності значення — а також показник confidence. Текстові відповіді повертають точні фрагменти зі зміщеннями символів. Оцінки та прогнози повертають медіану й 80%-й інтервал — від p10 до p90. Прогнози охоплюють до 64 кроків.
Обмеження на кількість полів немає. Поля, які не вміщуються разом із вхідними даними в один прохід на 8 192 токени, розподіляються між паралельними проходами. Кожен прохід бачить усі вхідні дані. У прикладі з документації рахунок на 61 токен було оброблено за 3 проходи. Він використав 655 вхідних токенів, зокрема 472 токени схеми. Широкі схеми можуть коштувати дорожче, ніж сам документ.
Що показали тести Cloudflare?
У прикладі з електронним листом до служби підтримки Clairic додала ціну й податок та отримала $701.10. Вона також обчислила, що від моменту доставки минуло 11 днів. Жодне з цих чисел не згадувалося в листі. Для відсутнього номера відстеження модель повернула null, а не правдоподібне припущення.
На фотографії чека з перекосом вона зчитала всі 7 наявних значень і повернула null для відсутньої знижки. Її найнижча впевненість становила 0.776 і стосувалася номера замовлення.
Для прогнозування Cloudflare спрогнозувала щоденну кількість пасажирів на контрольно-пропускних пунктах TSA протягом 21 дня. Середня похибка становила 3,3%. Фактичні значення за 17 із 21 дня потрапили в 80%-й інтервал. 3 із 4 промахів припали на вихідні з нагоди Дня Колумба.
Основним тестом був процес обробки заявок щодо пошкоджених товарів. Clairic вилучала факти, Clef обирала повернення коштів або ремонт, а GLM-5.3 писала відповідь. Cloudflare порівняла цей підхід із варіантом, у якому GLM-5.3 виконувала всі 3 етапи.
Каскад завершився за 19,3 с проти 61,7 с, тобто приблизно у 3,2 раза швидше. Вилучення зайняло 0,46 с проти 16,1 с. Етап ухвалення рішення зайняв 0,22 с проти 21,9 с. Вартість обробки мільйона заявок зменшилася на 49% — з $11,740 до $6,032. Етап підготовки відповіді все ще домінував і займав 18,6 із 19,3 с.
Обидва конвеєри правильно визначили факти й рішення. Оцінка ремонту Clairic була однаковою під час усіх запусків. GLM-5.3 повертала $250, $250 і $220. Cloudflare повідомляє, що Gemma 4 та Qwen не впоралися з версією, де всі етапи виконував LLM.
Як Clairic порівнюється з Clef, Jev і GLM-5.3?
| Метрики | Clairic | Clef | Jev | GLM-5.3 |
|---|---|---|---|---|
| Розробник | Cloudflare | Cloudflare | TypeSafe AI | Z.ai |
| Клас | Вилучення System One | Ухвалення рішень System One | Ухвалення рішень System One | LLM System Two (міркування) |
| Вихідні дані | Типізовані значення: фрагменти, числа, дати, тривалості, списки, оцінки, прогнози | Імовірності для перелічених вами варіантів | Типізовані рішення з каліброваними ймовірностями | Довільний текст |
| Параметри | Не розкривається | 27B | Не розкривається | Не розкривається |
| Контекстне вікно | 65 536 токенів | 65 536 токенів | Не розкривається | 1 048 576 токенів |
| Вхідні зображення | Так, до 4 | Так (текст, JSON, зображення, відео) | Не розкривається | Не розкривається |
| Ціна введення | $0.10 / млн токенів | $0.24 / млн токенів | $0.042 / млн токенів | $1.40 / млн токенів |
| Ціна виведення | Немає | Немає | Безкоштовно | $4.40 / млн токенів |
| Швидкість | 0,46 с на етап вилучення (тест Cloudflare) | Медіана 209,3 мс (оцінювання Cloudflare) | Від 70 до 500 мс від початку до кінця (TypeSafe) | 16,1 с на етап вилучення (тест Cloudflare) |
| Доступність | Попередня версія Workers AI; відкриті ваги плануються | Workers AI; ваги Apache 2.0 | API TypeSafe, ранній доступ | Workers AI, платний план |
Де розробники можуть її використовувати і скільки це коштує?
Clairic доступна як попередня версія за адресою @cf/cloudflare/clairic. Викликати її можна через прив’язку Workers AI за допомогою env.AI.run() або REST API. AI Gateway працює з тими самими кінцевими точками.
Ціна становить $0.10 за мільйон вхідних токенів, плата за вихідні дані відсутня. Це дешевше за Clef ($0.24), але дорожче за Jev ($0.042). Ваги обіцяють опублікувати, але поки їх не випустили.
Головні висновки
- Clairic повертає типізовані значення, а не текст, за 1 прямий прохід.
- $0.10 за мільйон вхідних токенів; вихідні токени безкоштовні.
- Вилучення тривало 0,46 с проти 16,1 с у GLM-5.3.
- Кожна відповідь містить показник упевненості,
p_null, фрагменти або інтервали.
Ознайомтеся з дописом у блозі Cloudflare, документацією моделі Clairic, поясненням моделей вилучення і журналом змін Workers AI. Також прочитайте наш попередній матеріал про Drex 1.5. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання зі 150 тисячами+ учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.