Интелигентност в реално време с моделите за времеви редове на IBM в Confluent
Досега тези решения се основаваха на остаряла икономика: един специално разработен модел наведнъж и месеци експертен труд за всеки от тях. Затова екипите моделират няколкостотинте реда, при които има най-голяма финансова стойност, а останалите покриват с предпазни маржове, допълнителни запаси, допълнителен капацитет и допълнителен толеранс, като действат, след като прозорецът за действие вече е затворен. Този марж е цената на решение, което никой не е могъл да прогнозира, плащана във всеки цикъл.
Фундаменталният модел за времеви редове (TSFM) променя това. Обучен веднъж върху огромен набор от разнообразни сигнали, той се обобщава към ред, който никога не е виждал: подайте му прозорец от измервания и той ще ви каже какво следва, доколко поведението се отклонява от нормалното, коя история прилича на тази и кои настройки най-добре обслужват дадена цел. Използването му също не изисква армия от специалисти по данни: планировчик на търсенето, анализатор на измами или технологичен инженер могат да приложат тези модели към собствените си потоци. Около моделите IBM изгражда функции, които преместват работата към началото на процеса, така че прогнозирането, откриването на аномалии, оптимизацията и семантичното разузнаване да пристигат като възможности, които извиквате, вместо като проекти, които изграждате.
Представете си една линия за темпериране във фабрика за шоколад, чиято температура, скорост и производителност се измерват на всеки няколко секунди и се следят спрямо фиксирани прагове. Включете фундаментален модел в този поток и той ще прогнозира продукцията на линията за вечерната смяна, така че планировчикът да види недостига, докато все още има време за действие. Той оценява днешното изпълнение спрямо обичайното поведение на линията при черен шоколад, така че бавното отклонение да се открои, преди шоколадът да побелее. Намира най-близкото съвпадение в историята на завода, така че инженерът да знае как са се развили последните подобни изпълнения. Моделът взема предвид настройките, които екипът контролира, и се донастройва, когато последните процентни пунктове точност си заслужават. Не е необходим екип по наука за данните, а същият модел се пренася към всяка линия във всяка фабрика.
IBM тества тези модели, преди да ги предложи — първо в собствените си продукти и операции, а след това с партньори за проектиране в циментовата, стоманодобивната, целулозно-хартиената, хранително-вкусовата и телекомуникационната индустрия. Числата говорят сами: всяка точка точност струва милиони, ръстът на производителността е от 5 до 10 пъти, а работата, която преди е чакала специалисти, вече е в ръцете на експертите от съответната област, които вземат решенията.
Сега това доказателство се среща с контекста в реално време: IBM предоставя авангардни модели, които разбират как се държат сигналите и зад които стоят над 44 милиона изтегляния, а Confluent осигурява текущото състояние на бизнеса и достъп до всяка система, която предприема действия. Заедно те работят естествено в потока, хоствани в Confluent Cloud и извиквани от Flink. Достъпът започва в Confluent Cloud в AWS. Следва Confluent Platform, която ще предостави същите модели и възможности в локални и хибридни среди.
Интелигентността на времевите редове среща контекста в реално време с нулева конфигурация, вградено управление и ефективност
Месеците, които обикновено се изразходват за интегриране на модел в продукционна среда, вече се спестяват: Granite прочита сигнала, Confluent предоставя контекста, управлението и доставката към всичко надолу по веригата.
Стойността на един сигнал намалява с времето: помпа, при която днес е засечено отклонение, води до работна поръчка, а същата помпа следващата седмица води до прекъсване.
Прогнозирането и откриването на аномалии са състояниeви процеси: следващата стойност има смисъл само спрямо скорошната история, а аномалия съществува само спрямо текущото усещане за нормалното. Flink управлява това състояние, като го обвързва с всеки ред и осигурява устойчивост при откази, така че всеки модел да получава необходимата му история без отделно хранилище за данни или заявка към база данни при всяко извикване.
Тук стойността се натрупва. Платформата за поточно предаване на данни на Confluent задвижва бизнес данните и ги прави използваеми за машинно обучение. Платформата непрекъснато предава, свързва, управлява и обработва данни в реално време, като улавя текущи бизнес сигнали, които моделите IBM Granite Time Series използват за прогнозиране, откриване на аномалии, търсене по сходство, класификация, попълване на пропуски и оптимизация. Confluent предоставя всичко необходимо за бързо, надеждно и сигурно реализиране на случаи на употреба на поточни данни, така че да можете да се съсредоточите върху разработването на приложения за машинно обучение в реално време, вместо върху управлението на инфраструктурата за данни.
Confluent Cloud, облачното внедряване на платформата за поточно предаване на данни на Confluent, осигурява естествено извеждане на модели, което позволява да изпълнявате моделите IBM Granite Time Series директно в Apache Flink® върху Confluent, осигурявайки по-голяма гъвкавост, сигурност и разходна ефективност при обработката на данни в реално време и обединявайки работните процеси за данни и машинно обучение. Ползите включват:
- Интелигентност в реално време там, където се намират данните: Изпълнявайте прогнозиране и откриване на аномалии директно върху поточни данни в момента, в който бизнес условията се променят, без да извличате данните за времеви редове към отделна ML платформа или склад за данни.
- Нулева конфигурация: Confluent управлява обслужването на моделите, инфраструктурата, мащабирането и операциите по време на изпълнение, така че няма идентификационни данни на доставчик за управление или свързващ код между потоците от данни и модела. Извиквайте моделите IBM Granite Time Series директно от Flink SQL за откриване на аномалии и прогнозиране в реално време.
- Свеж и обогатен контекст: Confluent непрекъснато улавя и обработва данни, за да изгради актуален изглед на текущото състояние на бизнеса — от телеметрията на сензори и платежната активност до показателите на приложенията, така че моделите да действат въз основа на случващото се сега, а не на остарели пакетни данни, и да правят по-надеждни и точни прогнози. Резултатите от извеждането се записват в теми на Kafka и се споделят чрез fanout, като могат да се използват от системи за известия, табла, lakehouse среди и AI агенти.
- Вградено управление и проследимост: Потоците за извеждане се придържат към същите схеми, произход на данните и контроли за достъп като всичко останало в платформата. Темите на Kafka са устойчиви и могат да се възпроизвеждат, което подпомага одитирането, отстраняването на неизправности, оценяването на моделите и повторното изпълнение на извеждането спрямо исторически данни.
- Разходна ефективност: Естественото извеждане елиминира необходимостта от осигуряване и управление на специализирана инфраструктура за обслужване на модели или графични процесори, без такси за входящ или изходящ облачен трафик.
- Подобрена сигурност: Данните остават в Confluent Cloud по време на извеждането и се подчиняват на RBAC и политиките за поверителност в цялата платформа.
- По-бързо достигане до стойност: Екипите могат да преминат от поточни данни към работещ поток за прогнозиране и откриване на аномалии за минути, използвайки познат SQL синтаксис, вместо да изграждат отделен ML стек или точка-точка потоци от данни.
Свързвайки оперативните и аналитичните среди, Confluent помага на екипите да превръщат текущите бизнес събития в приложим интелект, като въвежда моделите IBM Granite Time Series в потока. И тъй като един модел не може да обслужва еднакво линия за шампоан, картова мрежа и каталог на търговец на дребно, IBM и Confluent предлагат портфолио, а не един модел.
Допълващо портфолио от фундаментални модели за времеви редове, съобразени с решението, което вземате
Всяко решение задава различен въпрос към бъдещето. Един цикъл на планиране се нуждае от диапазон от резултати, търговският отдел — от най-точното число при данни с всякаква честота, парк от сто хиляди реда — от разходи, които остават разумни, а екипът по сигурността — от момента, в който потокът престава да се държи нормално, и от това какво се е случило последния път. Портфолиото включва четири допълващи се фундаментални модела за времеви редове, всички в Ранен достъп и извиквани чрез съществуващите функции на Confluent AI_FORECAST и AI_DETECT_ANOMALIES за Flink SQL. Превключвайте моделите с един SQL параметър, без преработване на потока.
Целият проект е едно извикване:
SELECT
AI_FORECAST(
load_kw,
event_time,
JSON_OBJECT('model' VALUE 'ttm', 'horizon' VALUE 12)
) OVER (
ORDER BY event_time
RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
) AS forecast
FROM meter_readings;
Променете стойността на model и същото извикване ще изпълни всеки от четирите модела, без да е необходимо да изграждате или управлявате отделен ML стек.
Няма един-единствен най-добър модел, затова изборът се насочва от няколко въпроса. Един ред или хиляди? Една променлива или много? Време за обучение или готово решение? Колко далеч напред? Прогнозиране или аномалии? PatchTST-FM прочита един ред така, както езиков модел чете текст — на порции, като всяка променлива е в собствен канал, така че един шумен сигнал да не повлече останалите, и връща пълно разпределение, за да може планировчикът да определи точки за повторна поръчка според 90-ия персентил. FlowState поддържа обобщение, което се актуализира с всяка точка, и тъй като динамиката му е непрекъсната във времето, обработва еднакво добре SCADA данни на ниво секунди и пазарни данни на часова база. TTM заменя вниманието с малки смесващи мрежи по времето и между променливите, така че модел с милион параметри да обхване сто хиляди реда всяка нощ върху CPU. А TSPulse съчетава времеви и честотен поглед в един малък многозадачен модел за откриване на аномалии, класификация, попълване на пропуски и въпроса, който всеки оператор задава: виждали ли сме това преди.
Малкият размер беше решение, а не компромис: извеждането се изпълнява естествено в Confluent Cloud или върху вашите собствени CPU с отворените тегла от Hugging Face Hub, а липсата на такси за входящ и изходящ облачен трафик запазва архитектурата проста и разходите ниски. IBM Granite предоставя и рамката на IBM за управление на корпоративния изкуствен интелект, с прозрачност относно произхода и лицензирането на моделите, както и нарастващ набор от функции върху моделите, които правят всеки случай на употреба по-полезен още от самото начало. Именно тук портфолиото и платформата се срещат — там, където моделът престава да бъде библиотекар на миналото и се превръща в оптимизатор на решенията, които все още се изпълняват.
Къде се реализира стойността: прогнозиране, откриване на аномалии, оптимизация и семантично разузнаване
И четирите модела съкращават времето между едно събитие и узнаването за него. В потока този интервал намалява от дни до секунди, а сигналът се превръща в спусък за други AI системи, агенти и работни процеси, които разследват, сортират важното и включват човек, когато решението изисква такъв — с вече събран контекст. Всеки от четирите модела се пакетира и като функция, така че повече работа да се извършва от платформата, а по-малко да пада върху екипа, който я използва.
Прогнозиране и планиране
Повечето прогнози все още представляват статистически модел и интуиция, представени като решение. Специално разработеното машинно обучение не е затворило разликата — един модел за всеки ред, настройван ръчно и отклоняващ се с увеличаването на хоризонта — така че планирането обхваща малкото редове, за които усилието си заслужава, а останалото разчита на резервни запаси.
Следвайте планировчика на търсенето в търговска верига за хранителни стоки, където планирането стига до началото на каталога, но никога до края му, който стои на рафта като оборотен капитал. Тя насочва един споделен модел към целия каталог: той работи незабавно върху непознат ред, взема предвид фактори като времето и промоциите и връща разпределение, а не единична линия. Нищо не се изгражда за всеки SKU, така че един модел се превръща във фабрика за модели: SKU с история от две години и такъв с история от три месеца в една и съща задача, нов продукт без история, започващ от сходните с него SKU, 100 000 SKU всяка нощ върху CPU, една и съща стратегия в различни категории и региони.
Разпределението превръща нивото на обслужване в политика, която тя може да формулира ясно. А тъй като всяка прогноза попада в тема, тя е спусък, а не отчет: от нея се задейства попълването на запасите, разпределението и ценообразуването използват същите числа, намалението се прави, преди стоката да залежи, а повторната поръчка — преди рафтът да се изпразни. Резултатите се измерват там, където бизнесът следи успеха: по-малко изчерпвания и намаления, клиенти, които намират търсеното, защитени приходи от рафта и освободен оборотен капитал, обикновено най-големият ред в бизнес обосновката.
Откриване на аномалии
Откриването на аномалии е най-широкото направление, а една пропусната аномалия рядко е малка: при измама става дума за парите на клиента, при сигурността — за пробив, при IT операциите — за прекъсване, което клиентите усещат първи, и всяко от тях се отразява на марката толкова силно, колкото и на баланса. Във финансовите услуги откриването на базата на правила е изброимо, затова противниците го заобикалят, а затягането на дадено правило отблъсква повече коректни клиенти — загубени приходи и клиент, който вече наполовина си е тръгнал. Специално разработеното ML изисква етикети, които са малко и остаряват, а фалшивите сигнали струват повече от самото престъпление.
Представете си ръководителя на екипа за борба с измамите в банка за търговия на дребно: моделът поддържа усещане за нормалното за всяка карта и оценява всяко плащане чрез едно и също извикване на AI_DETECT_ANOMALIES, докато то все още се извършва. Тъй като моделът и прогнозира, той маркира отклонението към проблем още преди събитието. Карта, с която в продължение на две години са купувани хранителни стоки в същите три пощенски района, внезапно финансира портфейл в чужбина в 3 часа през нощта и алармата се задейства, преди парите да бъдат преместени, докато същият клиент по време на истинска почивка преминава безпрепятствено.
Защитата започва още от първия ден, защото наученото от модела на други места се пренася към нови продукти, направления и видове активи без нито един етикетиран случай. Тя трябва и да се развива непрекъснато, защото противникът също се развива: моделите на измами и сигнатурите на атаките се променят ежемесечно, затова моделът се персонализира върху собствения поток на банката, пренастройва се при потвърждаване на случаи и се подобрява постоянно, вместо да се изгражда наново всяка година. А когато банковите и търговските операции станат агентни, като агентите инициират плащания с машинна скорост, ритъмът на нормалното се променя и обемите нарастват, така че текущият контекст и оценяването в движение стават още по-важни. Всяка оценка позволява следващата стъпка: блокиране на плащането, ескалиране към анализатор с приложени най-близките минали случаи или предаване към агент.
Същата техника се прилага навсякъде, където даден обект има ритъм: IT латентност, ключови показатели на клетъчни станции, линията за темпериране от началото.
Оптимизация на производството
Всеки завод работи с модел на самия себе си и поддържането на неговата точност е трудно: статистическите модели се отклоняват, управлението на базата на правила поддържа зададена стойност, но никога не я подобрява, а специално разработеното ML не обяснява нищо, така че оптимизацията остава на ниво пилотни проекти, а заводът работи с маржове.
Андрес ръководи процесите в завод за шампоан, чиято смесителна линия предава температурата, скоростта на разбъркване, дозировката и вискозитета към Confluent. Той поставя фундаментален модел върху потока и той работи директно: месеците специално разработено моделиране се превръщат в дни, ръстът на производителността достига 10 пъти, а персонализация се прави само там, където линията я изисква. Когато прогнозата е обвързана с това, което той контролира, тя се превръща в симулатор: енергия при тази скорост на смесване, производителност при тази температура и дозировка, вискозитет в допустимите граници или не. Оптимизаторът търси в това пространство спрямо показател, който той посочва, спазва ограниченията му и обяснява препоръките си, защото препоръка, която не може да бъде проверена, няма да бъде приложена. Андрес е технологичен инженер, а не специалист по моделиране, и човекът, който познава линията, я управлява.
Оптимизацията не замръзва при пускането в експлоатация, а се оптимизира отново с промяната на входовете: доставчикът на повърхностноактивно вещество се сменя, партида ароматизатор се държи различно, търсенето се измества от бутилката от 400 ml към туристическия размер, а тази четвърт целта е производителност, а не енергия. Формулирайте отново целта и ограниченията и линията ще работи с най-добрата следваща зададена стойност, а не с миналогодишната, започвайки от най-близките предишни изпълнения и техните корекции. Ползите се измерват във валутата, която финансовият директор следи: една точка подобрение в операция с оборот от стотици милиони е ред от седем цифри, а един производител на храни започва с един процес и 400 фабрики зад него.
Оптимизацията на производството е основа за нещо по-голямо: следват прогнозиране на качеството и състоянието на оборудването, а с навлизането на AI в производството, роботиката и физическите системи тя е първата от много възможности на голям и разрушителен пазар.
Семантично разузнаване
Всяко от горните направления завършва с един и същ въпрос: виждали ли сме това преди? Моделите отговарят чрез embeddings — компактни вектори, които улавят формата на прозорец във времето и честотата, така че два сходни епизода да се окажат близо един до друг независимо от мащаба или отместването им. В потока всеки прозорец се преобразува във embedding при пристигането си и се съпоставя с минали епизоди и резултатите от тях, така че върнатото е прецедент, а не оценка: изпълненията, които са се отклонили по този начин, и как са били коригирани, кривите на търсене, на които най-много прилича нов SKU, потвърдените случаи на измама, с които тази сесия си прилича. Същите embeddings задвижват класификацията и попълването на пропуски и индексират контекста, който агентът извлича, преди да действа.
Това е само началото за времевите редове. Както при езиковите модели, темпото се ускорява: нови архитектури, нови източници на данни, агентни и потребителски изживявания, изградени върху моделите, и все повече възможности, готови за използване още от първия ден. IBM и Confluent ще продължат да въвеждат иновации по начина, по който започнаха — с партньори за проектиране и клиенти по реални корпоративни случаи на употреба, за производителност, точност и отзивчивост във всяко направление.
Станете иновационен партньор и започнете работа с модели за времеви редове в Confluent
Вече е налично в Ранен достъп в Confluent Cloud: прогнозиране и откриване на аномалии директно в потоците от данни, без необходимост от обучение на модел, разработване на характеристики или експертни познания в AI/ML. Confluent Cloud е началната точка, а Confluent Platform е следващата, така че същите модели и възможности да достигнат до локални и хибридни среди. Цикълът на обратна връзка е най-важното: това, което откриете в собствените си потоци, учи моделите какви да станат след това.
- [Запишете се за Ранен достъп](https://events.confluent.io/early-access-flink-features)** и приложете прогнозиране и откриване на аномалии към собствените си потоци в собствената си среда, като работите директно с екипите на IBM и Confluent. Това, което откриете, ще формира следващите версии, а по време на Ранния достъп няма такса.
- Документация. AI_FORECAST и AI_DETECT_ANOMALIES в Confluent Cloud за Apache Flink, както и ръководство за модели за прогнозиране и откриване на аномалии в реално време от хората, които са ги създали.
Общност
· Регистрирайте се или влезте, за да коментирате
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.