Аналітика в реальному часі з моделями часових рядів IBM у Confluent
Досі ці рішення ухвалювалися за застарілою економікою: одна спеціально розроблена модель за раз і місяці роботи експертів над кожною. Тому команди моделюють кілька сотень рядів, де є найбільша фінансова цінність, а решту покривають запасами безпеки, додатковими запасами, резервом потужності та додатковою толерантністю — і діють уже після того, як вікно можливостей закрилося. Ця маржа — вартість рішення, яке ніхто не міг спрогнозувати, і яке сплачується в кожному циклі.
Базова модель часових рядів (TSFM) змінює це. Одного разу навчена на величезній кількості різноманітних сигналів, вона узагальнює знання на ряд, якого ніколи не бачила: отримавши вікно вимірювань, модель повідомляє, що буде далі, наскільки поведінка відхиляється від норми, яка історія схожа на цю та які налаштування найкраще відповідають цільовому показнику. Для її використання також не потрібна армія фахівців із роботи з даними: планувальник попиту, аналітик шахрайства чи інженер-технолог можуть самостійно застосувати ці моделі до власних потоків. Навколо моделей IBM створює функції, які переносять роботу на попередні етапи, тож прогнозування, виявлення аномалій, оптимізація та семантичний інтелект стають можливостями, які ви викликаєте, а не проєктами, які створюєте.
Уявімо одну лінію темперування на шоколадній фабриці, де температуру, швидкість і продуктивність вимірюють кожні кілька секунд і порівнюють із фіксованими порогами. Додайте базову модель до цього потоку — і вона спрогнозує продуктивність лінії до кінця вечірньої зміни, щоб планувальник побачив дефіцит, поки ще є час діяти. Вона оцінить сьогоднішній запуск порівняно з типовою поведінкою лінії під час виробництва чорного шоколаду, тож повільний дрейф проявиться ще до появи посивіння на плитці. Модель знайде найближчий аналог в історії заводу, і інженер знатиме, чим завершилися попередні подібні запуски. Вона врахує налаштування, якими керує команда, і донавчиться, коли додаткові відсотки точності будуть виправданими. Команда фахівців із роботи з даними не потрібна, а та сама модель масштабується на кожну лінію на кожній фабриці.
IBM випробувала ці моделі до того, як запропонувати їх іншим: спочатку у власних продуктах і операціях, а потім із партнерами з розробки у виробництві цементу, сталі, целюлози й паперу, харчовій промисловості та телекомунікаціях. Цифри говорять самі за себе: кожен пункт точності коштує мільйони, приріст продуктивності становить від 5 до 10 разів, а робота, яка раніше чекала на фахівців, тепер виконується експертами предметної галузі, що відповідають за рішення.
Тепер ці докази поєднуються з контекстом у реальному часі: IBM надає передові моделі, які розуміють поведінку сигналів і мають за плечима понад 44 млн завантажень, а Confluent — актуальний стан бізнесу та доступ до кожної системи, яка діє. Разом вони працюють нативно в потоках, розміщені в Confluent Cloud і викликаються з Flink. Доступ відкривається в Confluent Cloud на AWS. Далі буде Confluent Platform, яка принесе ті самі моделі й можливості до локальних і гібридних середовищ.
Інтелект часових рядів поєднується з контекстом у реальному часі: нульове налаштування, вбудоване управління та ефективність
Місяці, які зазвичай витрачаються на інтеграцію моделі у виробниче середовище, залишаються в минулому: Granite зчитує сигнал, Confluent надає контекст, управління та доставку всього, що потрібно наступним системам.
Цінність сигналу з часом зменшується: насос, у якого сьогодні виявили відхилення, означає заявку на обслуговування, а той самий насос наступного тижня — вже простій.
Прогнозування та виявлення аномалій залежать від стану: наступне значення має сенс лише в контексті недавньої історії, а аномалія існує лише щодо поточного уявлення про норму. Flink керує цим станом, індексуючи його для кожного ряду та забезпечуючи відмовостійкість, тому кожна модель отримує потрібну історію без окремого сховища даних чи звернення до бази даних під час кожного виклику.
Саме тут цінність накопичується. Платформа потокової передачі даних Confluent забезпечує рух бізнес-даних і робить їх придатними для машинного навчання. Платформа безперервно передає, з'єднує, контролює та обробляє дані в реальному часі, фіксуючи актуальні бізнес-сигнали, які моделі IBM Granite Time Series використовують для прогнозування, виявлення аномалій, пошуку схожості, класифікації, заповнення пропусків та оптимізації. Confluent надає все необхідне для швидкої, надійної та безпечної реалізації потокових сценаріїв, щоб ви могли зосередитися на розробці ML-застосунків у реальному часі, а не на керуванні інфраструктурою даних.
Confluent Cloud, хмарне розгортання платформи потокової передачі даних Confluent, забезпечує нативний інференс, що дає змогу запускати моделі IBM Granite Time Series безпосередньо в Apache Flink® на Confluent, забезпечуючи більшу гнучкість, безпеку та економічність обробки даних у реальному часі й уніфікуючи робочі процеси роботи з даними та ML. Переваги включають:
- Інтелект у реальному часі там, де живуть дані: Виконуйте прогнозування та виявлення аномалій безпосередньо на потокових даних у момент зміни бізнес-умов, не переміщуючи дані часових рядів до окремої ML-платформи чи сховища даних.
- Нульове налаштування: Confluent керує обслуговуванням моделей, інфраструктурою, масштабуванням і роботою середовища, тому вам не потрібно керувати обліковими даними провайдера чи з'єднанням між конвеєрами даних і моделлю. Викликайте моделі IBM Granite Time Series безпосередньо з Flink SQL для виявлення аномалій і прогнозування в реальному часі.
- Актуальний, збагачений контекст: Confluent безперервно збирає та обробляє дані, створюючи актуальне уявлення про поточний стан бізнесу — від телеметрії датчиків і платіжної активності до метрик застосунків, — щоб моделі могли діяти на основі поточних, а не застарілих пакетних даних і створювати надійніші та точніші прогнози. Результати інференсу записуються в топіки Kafka та розповсюджуються через fanout, будучи доступними для систем сповіщень, інформаційних панелей, lakehouse-сховищ і AI-агентів.
- Вбудоване управління та простежуваність: Конвеєри інференсу дотримуються тих самих схем, правил походження даних і контролів доступу, що й решта платформи. Топіки Kafka є довговічними та придатними для повторного відтворення, що підтримує аудит, усунення несправностей, оцінювання моделей і повторний запуск інференсу на історичних даних.
- Економічність: Нативний інференс усуває потребу в розгортанні та керуванні виділеною інфраструктурою обслуговування моделей або GPU, без комісій за вхідний чи вихідний трафік у хмарі.
- Підвищена безпека: Дані залишаються в Confluent Cloud під час інференсу та протягом роботи платформи відповідають політикам RBAC і конфіденційності.
- Швидше отримання цінності: Команди можуть за лічені хвилини перейти від потокових даних до робочого конвеєра прогнозування та виявлення аномалій, використовуючи знайомий синтаксис SQL, замість створення окремого ML-стека чи точкових конвеєрів даних.
Поєднуючи операційні та аналітичні середовища, Confluent допомагає командам перетворювати актуальні бізнес-події на корисний інтелект, додаючи моделі IBM Granite Time Series до потоку. А оскільки жодна окрема модель не може однаково добре працювати для лінії з виробництва шампуню, карткової мережі та роздрібного каталогу, IBM і Confluent пропонують портфоліо, а не одну модель.
Комплементарне портфоліо базових моделей часових рядів, підібраних відповідно до рішення, яке ви ухвалюєте
Кожне рішення ставить майбутньому різне запитання. Планувальному циклу потрібен діапазон результатів, трейдинговому підрозділу — найточніше число на даних із будь-якою частотою, парку зі ста тисяч рядів — раціональна вартість, а команді безпеки — момент, коли потік перестає поводитися як зазвичай, і відповідь на запитання, що сталося минулого разу. Портфоліо складається з чотирьох комплементарних базових моделей часових рядів, усі вони доступні в Early Access і викликаються через наявні функції Flink SQL у Confluent — AI_FORECAST та AI_DETECT_ANOMALIES. Перемикайте моделі одним параметром SQL без перебудови конвеєра.
Увесь проєкт — це один виклик:
SELECT
AI_FORECAST(
load_kw,
event_time,
JSON_OBJECT('model' VALUE 'ttm', 'horizon' VALUE 12)
) OVER (
ORDER BY event_time
RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
) AS forecast
FROM meter_readings;
Змініть значення model — і той самий виклик запустить будь-яку з чотирьох моделей, без створення чи експлуатації окремого ML-стека.
Не існує однієї найкращої моделі, тож вибір визначають кілька запитань. Один ряд чи тисячі? Одна змінна чи багато? Час на навчання чи готове рішення? Наскільки далеко вперед? Прогнозування чи аномалії? PatchTST-FM читає ряд так, як мовна модель читає текст, фрагмент за фрагментом, причому кожна змінна має власний канал, щоб один зашумлений сигнал не впливав на решту, і повертає повний розподіл, завдяки чому планувальник може встановлювати точки повторного замовлення на основі 90-го перцентиля. FlowState оновлює поточний підсумок із кожною точкою, а оскільки його динаміка безперервна в часі, він однаково добре працює з даними SCADA із секундною точністю та погодинними ринковими даними. TTM замінює механізм уваги невеликими мережами змішування вздовж часу та між змінними, тому модель із мільйоном параметрів щоночі охоплює сто тисяч рядів на CPU. А TSPulse поєднує часовий і частотний погляди в одній компактній багатозадачній моделі для виявлення аномалій, класифікації, заповнення пропусків і відповіді на запитання, яке ставить кожен оператор: чи бачили ми таке раніше.
Малий розмір — це свідоме рішення, а не компроміс: інференс нативно працює всередині Confluent Cloud або на ваших власних CPU з відкритими вагами з Hugging Face Hub, а відсутність плати за вхідний і вихідний трафік у хмарі спрощує архітектуру та знижує витрати. IBM Granite також надає корпоративну систему управління ШІ від IBM із прозорістю походження моделей і ліцензування, а також дедалі більший набір функцій для моделей, які роблять кожен сценарій кориснішим одразу після запуску. Саме тут портфоліо та платформа поєднуються: модель перестає бути бібліотекарем минулого й стає оптимізатором рішень, які ще перебувають у процесі ухвалення.
Де виникає цінність: прогнозування, виявлення аномалій, оптимізація та семантичний інтелект
Усі чотири моделі скорочують час між подією та моментом, коли ви про неї дізнаєтеся. У потоці цей проміжок скорочується з днів до секунд, а сигнал стає тригером для інших AI-систем, агентів і робочих процесів, які розслідують ситуацію, визначають пріоритетність важливого та залучають людину, коли рішення потребує її участі, причому потрібний контекст уже зібрано. Кожна з чотирьох моделей також упаковується як функція, тож більша частина роботи виконується платформою, а не командою, яка нею користується.
Прогнозування та планування
Більшість прогнозів і досі є статистичною моделлю та інтуїцією, замаскованими під рішення. Спеціально розроблені ML-рішення не подолали цей розрив: одна модель на ряд, ручне перенавчання та дрейф у міру збільшення горизонту прогнозування. Тому планування охоплює лише кілька рядів, які варті зусиль, а для решти використовуються страхові запаси.
Поспостерігаймо за планувальницею попиту в роздрібній мережі продуктів, де планування охоплює верхівку каталогу, але ніколи не доходить до «хвоста», який лежить на полиці як оборотний капітал. Вона спрямовує одну спільну модель на весь каталог: модель одразу працює з невідомим рядом, враховує такі фактори, як погода та промоакції, і повертає розподіл, а не одну лінію. Для кожного SKU нічого не потрібно створювати окремо, тому одна модель стає фабрикою моделей: SKU із дворічною історією та SKU із тримісячною історією виконуються в одному завданні, новий продукт без історії стартує з подібних SKU, 100 000 SKU обробляються щоночі на CPU, а той самий підхід застосовується до різних категорій і регіонів.
Розподіл перетворює рівень обслуговування на політику, яку вона може чітко сформулювати. А оскільки кожен прогноз потрапляє в топік, він стає тригером, а не звітом: на його основі запускається поповнення запасів, розподіл і ціноутворення використовують ті самі числа, уцінка відбувається до того, як товар залежиться, а повторне замовлення — до того, як полиця спорожніє. Результати проявляються там, де бізнес вимірює успіх: менше дефіцитів і уцінок, клієнти знаходять те, за чим прийшли, виторг на полиці захищений, а оборотний капітал вивільнений — зазвичай це найбільша стаття бізнес-кейсу.
Виявлення аномалій
Виявлення аномалій — найширший напрям, а одна пропущена аномалія рідко буває незначною: у випадку шахрайства це гроші клієнта, у сфері безпеки — злам, в ІТ-операціях — простій, із яким клієнти стикаються насамперед, і кожен такий випадок однаково сильно б'є по бренду та балансу. У фінансових послугах виявлення на основі правил можна перелічити, тому зловмисники їх перелічують, а посилення правила відсіює більше чесних клієнтів — втрачається виторг, і клієнт наполовину йде. Спеціально розробленому ML потрібні мітки, яких мало й які швидко застарівають, а хибні тривоги коштують дорожче за злочин.
Уявімо керівника напряму боротьби з шахрайством у роздрібному банку: модель зберігає уявлення про норму для кожної картки та оцінює кожен платіж за допомогою того самого виклику AI_DETECT_ANOMALIES, поки він ще виконується. Оскільки модель також прогнозує, вона виявляє відхилення в бік проблеми ще до події. Картка, якою протягом двох років купували продукти в тих самих трьох поштових індексах, раптом оплачує гаманець за кордоном о третій ночі — і тривога спрацьовує до переміщення грошей, тоді як той самий клієнт під час чесної відпустки безперешкодно здійснює платежі.
Захист починається з першого дня, оскільки те, чого модель навчилася в іншому місці, переноситься на нові продукти, напрямки та типи активів без жодного маркованого випадку. Вона також має постійно рухатися вперед, адже противник не зупиняється: схеми шахрайства та сигнатури атак змінюються щомісяця, тому модель налаштовується на власному потоці банку, перенавчається після підтвердження випадків і безперервно вдосконалюється, а не перебудовується раз на рік. І коли банківські та торговельні операції стають агентними, а агенти ініціюють платежі з машинною швидкістю, ритм норми змінюється, а обсяги зростають, тому актуальний контекст і оцінювання під час виконання стають ще важливішими. Кожна оцінка дає змогу зробити наступний крок: заблокувати платіж, передати випадок аналітику з доданими найближчими аналогами з минулого або доручити його агенту.
Та сама техніка застосовується всюди, де об'єкт має власний ритм: затримка ІТ-систем, KPI стільникових станцій, лінія темперування з початку статті.
Оптимізація виробництва
Кожне підприємство працює на власній моделі, і підтримувати її відповідність дійсності складно: статистичні моделі дрейфують, керування на основі правил утримує задане значення, але ніколи його не покращує, а спеціально розроблене ML нічого не пояснює, тому оптимізація залишається на етапі пілотних проєктів, а підприємство працює із запасом.
Андрес керує процесами на заводі з виробництва шампуню, де потік із лінії змішування передає до Confluent дані про температуру, швидкість мішалки, швидкість дозування та в'язкість. Він додає до потоку базову модель — і вона працює одразу: місяці спеціального моделювання перетворюються на дні, приріст продуктивності сягає 10 разів, а налаштування виконується лише там, де цього потребує лінія. З урахуванням параметрів, якими він керує, прогноз стає симулятором: споживання енергії за такої швидкості змішування, продуктивність за такої температури та швидкості дозування, відповідність в'язкості специфікації. Оптимізатор досліджує цей простір відповідно до названого ним KPI, дотримується його обмежень і пояснює свої рекомендації, адже рекомендацією, яку неможливо перевірити, він не скористається. Андрес — інженер-технолог, а не розробник моделей, і саме людина, яка знає лінію, керує нею.
Оптимізація не завмирає після запуску у виробництво, а повторно виконується в міру зміни вхідних даних: постачальник поверхнево-активної речовини змінюється, партія ароматизатора поводиться інакше, попит переміщується з пляшки об'ємом 400 мл на дорожній формат, а цього кварталу метою є продуктивність, а не енергоефективність. Сформулюйте мету й обмеження заново — і лінія працюватиме з найкращим наступним заданим значенням, а не з торішнім, починаючи з найближчих попередніх запусків та їхніх виправлень. Результати вимірюються у валюті, яку відстежує фінансовий директор: один пункт операції з оборотом у сотні мільйонів — це семизначна сума, а один виробник харчових продуктів починає з одного процесу, за яким стоять 400 фабрик.
Оптимізація виробництва є основою для чогось більшого: далі йдуть прогнозування якості та стану обладнання, а в міру проникнення ШІ у виробництво, робототехніку й фізичні системи це лише перший із багатьох напрямів на великому революційному ринку.
Семантичний інтелект
Кожен із наведених вище напрямів завершується одним і тим самим запитанням: чи бачили ми таке раніше? Моделі відповідають на нього за допомогою ембедингів — компактних векторів, які фіксують форму вікна в часі та частоті, завдяки чому два схожі епізоди опиняються поруч незалежно від їхнього масштабу чи зміщення. У потоці кожне вікно вбудовується в міру надходження та порівнюється з попередніми епізодами і їхніми результатами, тому повертається не оцінка, а прецедент: запуски, що відхилилися таким чином, і спосіб їх виправлення, криві попиту, на які найбільше схожий новий SKU, підтверджені випадки шахрайства, на які схожа поточна сесія. Ті самі ембединги забезпечують класифікацію та заповнення пропусків, а також індексують контекст, який агент отримує перед виконанням дії.
Для часових рядів це лише початок. Як і у випадку мовних моделей, темп прискорюється: нові архітектури, нові джерела даних, агентні та користувацькі інтерфейси, створені на основі моделей, і дедалі більше готових до використання можливостей із першого дня. IBM і Confluent продовжуватимуть інновації так, як почали: разом із партнерами з розробки та клієнтами на реальних корпоративних сценаріях, підвищуючи продуктивність, точність і швидкість реагування в кожному напрямі.
Станьте інноваційним партнером і почніть роботу з моделями часових рядів у Confluent
Уже доступно в Early Access у Confluent Cloud: прогнозування та виявлення аномалій безпосередньо у ваших потоках даних, без навчання моделей, розробки ознак чи експертизи у сфері AI/ML. Confluent Cloud — це відправна точка, а наступним стане Confluent Platform, тож ті самі моделі й можливості охоплять локальні та гібридні середовища. Цикл зворотного зв'язку — головне: те, що ви виявите у власних потоках, навчить моделі тому, чим їм стати далі.
- [Зареєструватися в Early Access](https://events.confluent.io/early-access-flink-features)** і застосувати прогнозування та виявлення аномалій до своїх потоків у власному середовищі, безпосередньо співпрацюючи з командами IBM і Confluent. Ваші відкриття впливатимуть на те, що буде випущено далі, а під час Early Access плата не стягується.
- Документація. AI_FORECAST і AI_DETECT_ANOMALIES у Confluent Cloud для Apache Flink, а також посібник із моделей прогнозування та виявлення аномалій у реальному часі від людей, які їх створили.
Спільнота
· Зареєструйтеся або увійдіть, щоб залишити коментар
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.