Аналитика в реальном времени с моделями временных рядов IBM в Confluent
До сих пор эти решения принимались на основе устаревшей экономики: по одной специализированной модели и месяцам работы экспертов на каждую. Поэтому команды моделируют несколько сотен рядов, где сосредоточена основная прибыль, а остальные покрывают запасами безопасности, дополнительными товарными запасами, резервной производительностью и допусками — и реагируют уже после закрытия окна возможностей. Эта маржа — цена решения, которое никто не мог спрогнозировать, выплачиваемая в каждом цикле.
Фундаментальная модель временных рядов (TSFM) меняет ситуацию. Обученная один раз на огромном количестве разнообразных сигналов, она обобщает данные для ряда, которого никогда не видела: достаточно предоставить ей окно измерений, и она сообщит, что произойдёт дальше, насколько поведение отклоняется от нормы, какая история похожа на текущую и какие настройки лучше всего соответствуют целевому показателю. Для работы с такой моделью не нужна армия специалистов по данным: планировщик спроса, аналитик по борьбе с мошенничеством или инженер-технолог может самостоятельно применить эти модели к собственным потокам. Вокруг моделей IBM создаёт функции, которые переносят основную работу на более ранний этап, превращая прогнозирование, обнаружение аномалий, оптимизацию и семантический анализ в вызываемые возможности, а не в проекты, которые нужно создавать.
Представьте одну линию темперирования на шоколадной фабрике: её температуру, скорость и производительность измеряют каждые несколько секунд и сопоставляют с фиксированными порогами. Добавьте фундаментальную модель в этот поток — и она спрогнозирует выпуск линии до конца вечерней смены, чтобы планировщик увидел возможный недовыпуск, пока ещё есть время принять меры. Она сравнит сегодняшнюю работу с обычным поведением линии при производстве тёмного шоколада, поэтому медленный сдвиг проявится ещё до появления поседения на плитке. Модель найдёт ближайший аналог в истории предприятия, и инженер поймёт, чем закончились прошлые похожие запуски. Она учитывает настройки, которыми управляет персонал, и дообучается, когда дополнительная точность оправдывает затраты. Команда по обработке данных не требуется, а та же модель масштабируется на каждую линию каждого завода.
IBM проверила эти модели до того, как предложить их рынку: сначала в собственных продуктах и операциях, затем вместе с партнёрами по проектированию в цементной, сталелитейной, целлюлозно-бумажной, пищевой и телекоммуникационной отраслях. Цифры говорят сами за себя: каждый процентный пункт точности приносит миллионы, рост производительности достигает 5–10 раз, а задачи, ожидавшие специалистов, теперь решают эксперты предметной области, отвечающие за соответствующее решение.
Теперь это доказательство сочетается с контекстом реального времени: IBM предоставляет передовые модели, понимающие поведение сигналов и имеющие за плечами более 44 млн загрузок, а Confluent — актуальное состояние бизнеса и доступ к каждой системе, которая предпринимает действия. Вместе они работают нативно в потоках, размещаются в Confluent Cloud и вызываются из Flink. Доступ открывается в Confluent Cloud на AWS. Следующим станет Confluent Platform, которая принесёт те же модели и возможности в локальные и гибридные среды.
Интеллектуальная обработка временных рядов встречается с контекстом реального времени: нулевая настройка, встроенное управление и эффективность
Месяцы, которые обычно уходят на подключение модели к промышленной эксплуатации, теперь можно сэкономить: Granite считывает сигнал, Confluent предоставляет контекст, управление и доставку данных во все последующие системы.
Ценность сигнала со временем снижается: насос, у которого сегодня обнаружили отклонение, означает заявку на обслуживание, а тот же насос через неделю — уже простой.
Прогнозирование и обнаружение аномалий зависят от состояния: следующее значение имеет смысл только в сравнении с недавней историей, а аномалия существует лишь относительно текущего представления о норме. Flink управляет этим состоянием, индексируя его по каждому ряду и обеспечивая отказоустойчивость, поэтому каждая модель получает необходимую историю без отдельного хранилища данных или обращения к базе данных при каждом вызове.
Именно здесь ценность накапливается. Платформа потоковой передачи данных Confluent приводит бизнес-данные в движение и делает их пригодными для машинного обучения. Платформа непрерывно передаёт, соединяет, контролирует и обрабатывает данные в реальном времени, фиксируя актуальные бизнес-сигналы, которые модели IBM Granite Time Series используют для прогнозирования, обнаружения аномалий, поиска сходств, классификации, заполнения пропусков и оптимизации. Confluent предоставляет всё необходимое для быстрого, надёжного и безопасного внедрения потоковых сценариев, чтобы вы могли сосредоточиться на разработке приложений машинного обучения реального времени, а не на управлении инфраструктурой данных.
Confluent Cloud — облачное развертывание платформы потоковой передачи данных Confluent — обеспечивает нативный инференс, позволяющий запускать модели IBM Granite Time Series непосредственно в Apache Flink® на Confluent. Это повышает гибкость, безопасность и экономическую эффективность обработки данных в реальном времени, одновременно объединяя рабочие процессы работы с данными и машинным обучением. Преимущества включают:
- Интеллект в реальном времени там, где находятся данные: выполняйте прогнозирование и обнаружение аномалий непосредственно на потоковых данных в тот самый момент, когда меняются условия бизнеса, не извлекая данные временных рядов в отдельную платформу машинного обучения или хранилище данных.
- Нулевая настройка: Confluent управляет обслуживанием моделей, инфраструктурой, масштабированием и операциями среды выполнения, поэтому вам не нужно управлять учётными данными провайдера или создавать связующий код между конвейерами данных и моделью. Вызывайте модели IBM Granite Time Series непосредственно из Flink SQL для обнаружения аномалий и прогнозирования в реальном времени.
- Актуальный, обогащённый контекст: Confluent непрерывно собирает и обрабатывает данные, формируя актуальное представление о текущем состоянии бизнеса — от телеметрии датчиков и платёжной активности до метрик приложений. Благодаря этому модели могут действовать на основе происходящего сейчас, а не устаревших пакетных данных, и выдавать более надёжные и точные прогнозы. Результаты инференса записываются в топики Kafka и распространяются методом fanout; их могут использовать системы оповещения, панели мониторинга, озёра данных и ИИ-агенты.
- Встроенное управление и прослеживаемость: конвейеры инференса используют те же схемы, происхождение данных и средства контроля доступа, что и остальные компоненты платформы. Топики Kafka долговечны и допускают повторное воспроизведение, что поддерживает аудит, устранение неполадок, оценку моделей и повторный запуск инференса на исторических данных.
- Экономическая эффективность: нативный инференс устраняет необходимость выделять и обслуживать специализированную инфраструктуру для обслуживания моделей или графические процессоры; плата за входящий и исходящий трафик в облаке отсутствует.
- Повышенная безопасность: данные остаются внутри Confluent Cloud при выполнении инференса, а на протяжении всей работы платформы соблюдаются политики RBAC и конфиденциальности.
- Быстрое получение ценности: команды могут за считанные минуты перейти от потоковых данных к работающему конвейеру прогнозирования и обнаружения аномалий с использованием привычного синтаксиса SQL, вместо того чтобы создавать отдельный стек машинного обучения или точечные конвейеры данных.
Объединяя операционные и аналитические контуры, Confluent помогает командам превращать текущие бизнес-события в практически применимый интеллект, добавляя модели IBM Granite Time Series в поток. И поскольку одна модель не может одинаково хорошо обслуживать линию по производству шампуня, карточную сеть и розничный каталог, IBM и Confluent предлагают портфель, а не одну модель.
Дополняющий портфель фундаментальных моделей временных рядов, соответствующих принимаемому вами решению
Каждое решение задаёт будущему свой вопрос. Плановый цикл требует диапазона возможных результатов, торговому подразделению — максимально точного числа на данных с любой частотой, парку из ста тысяч рядов — разумной стоимости, а команде безопасности — понимания момента, когда поток перестал вести себя привычным образом, и того, что происходило в прошлый раз. Портфель состоит из четырёх дополняющих друг друга фундаментальных моделей временных рядов; все они доступны в режиме раннего доступа и вызываются через существующие функции Confluent AI_FORECAST и AI_DETECT_ANOMALIES для Flink SQL. Переключайте модели одним параметром SQL без переработки конвейера.
Весь проект сводится к одному вызову:
SELECT
AI_FORECAST(
load_kw,
event_time,
JSON_OBJECT('model' VALUE 'ttm', 'horizon' VALUE 12)
) OVER (
ORDER BY event_time
RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
) AS forecast
FROM meter_readings;
Измените значение model — и тот же вызов запустит любую из четырёх моделей, без необходимости создавать или обслуживать отдельный стек машинного обучения.
Единственной лучшей модели не существует, поэтому выбор определяется несколькими вопросами. Речь идёт об одном ряде или о тысячах? Об одной переменной или о нескольких? Важны время обучения или готовность к работе «из коробки»? Насколько далеко вперёд нужно прогнозировать? Прогнозирование или аномалии? PatchTST-FM считывает ряд так же, как языковая модель читает текст, фрагмент за фрагментом; каждая переменная находится в собственном канале, поэтому один зашумлённый сигнал не может ухудшить остальные, а результатом становится полное распределение — планировщик может устанавливать точки повторного заказа по 90-му процентилю. FlowState обновляет сводное состояние с каждой новой точкой, а благодаря непрерывной динамике во времени одинаково хорошо обрабатывает SCADA-данные с шагом в секунды и рыночные данные с почасовым шагом. TTM заменяет механизм внимания небольшими сетями смешивания по времени и между переменными, поэтому модель с миллионом параметров каждую ночь охватывает сто тысяч рядов на CPU. А TSPulse объединяет представления во временной и частотной областях в одной компактной многозадачной модели для обнаружения аномалий, классификации, заполнения пропусков и ответа на вопрос, который задаёт каждый оператор: видели ли мы это раньше.
Компактность была осознанным решением, а не компромиссом: инференс выполняется нативно внутри Confluent Cloud или на собственных CPU с открытыми весами из Hugging Face Hub, а отсутствие платы за входящий и исходящий трафик в облаке упрощает архитектуру и снижает затраты. IBM Granite также предлагает корпоративную платформу управления ИИ IBM с прозрачностью происхождения моделей и лицензирования, а также растущий набор функций для моделей, которые делают каждый сценарий более полезным сразу после запуска. Здесь портфель и платформа объединяются: модель перестаёт быть библиотекарем прошлого и становится оптимизатором решений, которые ещё находятся в процессе принятия.
Где возникает ценность: прогнозирование, обнаружение аномалий, оптимизация и семантический интеллект
Все четыре модели сокращают время между событием и моментом, когда о нём становится известно. В потоке этот промежуток уменьшается с дней до секунд, а сигнал превращается в триггер для других ИИ-систем, агентов и рабочих процессов, которые расследуют ситуацию, определяют приоритеты, подключают человека, когда решение требует его участия, — причём необходимый контекст уже собран. Каждая из четырёх моделей также упаковывается в функцию, поэтому большая часть работы выполняется платформой, а не командой, которая ею пользуется.
Прогнозирование и планирование
Большинство прогнозов по-прежнему представляют собой статистическую модель и интуитивное решение, выданные за нечто более серьёзное. Специализированное машинное обучение не устранило разрыв: отдельная модель для каждого ряда, ручное переобучение и дрейф по мере увеличения горизонта. Поэтому планирование охватывает лишь несколько рядов, оправдывающих затраты, а для остальных используются страховые запасы.
Представьте планировщицу спроса в розничной продуктовой сети, где планирование доходит до начала каталога, но никогда — до его хвоста, который лежит на полке в виде оборотного капитала. Она направляет одну общую модель на весь каталог: модель сразу работает с ранее не виденным рядом, учитывает такие факторы, как погода и рекламные акции, и возвращает распределение, а не одну линию. Для каждого SKU ничего не создаётся отдельно, поэтому одна модель становится фабрикой моделей: двухлетний и трёхмесячный SKU обрабатываются в одном задании, новый продукт без истории получает прогноз на основе похожих SKU, 100 000 SKU обрабатываются каждую ночь на CPU, а один и тот же подход применяется в разных категориях и регионах.
Распределение превращает уровень обслуживания в политику, которую можно сформулировать словами. А поскольку каждый прогноз попадает в топик, он становится триггером, а не отчётом: на его основе запускается пополнение запасов, отделы распределения и ценообразования используют те же числа, уценка выполняется до того, как товар залежится, а повторный заказ — до опустошения полки. Результаты отражаются в показателях бизнеса: меньше дефицита и уценок, покупатели находят нужные товары, выручка на полке защищена, а оборотный капитал высвобождён — обычно это крупнейшая статья в бизнес-кейсе.
Обнаружение аномалий
Обнаружение аномалий — самое широкое направление, и пропущенная аномалия редко бывает незначительной: в сфере борьбы с мошенничеством это деньги клиента, в безопасности — взлом, в ИТ-операциях — сбой, с которым клиенты сталкиваются в первую очередь; каждый такой случай наносит бренду ущерб, сопоставимый с ударом по балансу. В финансовых услугах обнаружение на основе правил можно перечислить, поэтому злоумышленники перечисляют и обходят эти правила, а ужесточение правила отсекает больше добросовестных клиентов — выручка теряется, а клиент наполовину уходит. Специализированному машинному обучению нужны редкие и быстро устаревающие метки, а ложные тревоги обходятся дороже самого преступления.
Представьте руководителя направления по борьбе с мошенничеством в розничном банке: модель поддерживает представление о норме для каждой карты и оценивает каждый платёж тем же вызовом AI_DETECT_ANOMALIES, пока он ещё выполняется. Поскольку модель также прогнозирует, она отмечает движение к проблеме ещё до события. Карта, которой два года расплачивались за продукты в одних и тех же трёх почтовых индексах, используется для пополнения электронного кошелька за рубежом в три часа ночи — тревога срабатывает до перевода денег, тогда как тот же клиент во время законного отпуска проходит проверку без проблем.
Защита начинается с первого дня, поскольку знания модели, полученные в других условиях, переносятся на новые продукты, направления и типы активов без единого размеченного случая. При этом модель должна постоянно развиваться, ведь развивается и противник: схемы мошенничества и сигнатуры атак меняются ежемесячно, поэтому модель настраивается на собственном потоке банка, переобучается по мере подтверждения случаев и непрерывно улучшается, а не перестраивается раз в год. По мере того как банковские и торговые операции становятся агентными, а агенты инициируют платежи с машинной скоростью, ритм нормы меняется и объёмы растут — поэтому актуальный контекст и оценка операций в процессе выполнения становятся ещё важнее. Каждая оценка позволяет сделать следующий шаг: заблокировать платёж, передать его аналитику вместе с наиболее похожими прошлыми случаями или поручить его агенту.
Тот же метод применим везде, где у объекта есть собственный ритм: задержки ИТ-систем, KPI базовых станций, линия темперирования из начала статьи.
Оптимизация производства
Каждый завод работает на собственной модели, и поддерживать её соответствие реальности непросто: статистические модели дрейфуют, управление на основе правил удерживает заданное значение, но никогда его не улучшает, а специализированное машинное обучение ничего не объясняет, поэтому оптимизация остаётся на стадии пилотных проектов, а завод работает с запасом.
Андрес управляет производством на заводе шампуня, где в Confluent поступают данные о температуре, скорости мешалки, скорости дозирования и вязкости на смесительной линии. Он устанавливает фундаментальную модель на поток, и она работает сразу после запуска: месяцы специализированного моделирования превращаются в дни, прирост производительности достигает 10 раз, а индивидуальная настройка требуется только там, где её требует линия. С учётом управляемых им параметров прогноз превращается в симулятор: энергопотребление при такой скорости смешивания, производительность при такой температуре и скорости дозирования, соответствие вязкости спецификации. Оптимизатор исследует это пространство с учётом названного им KPI, соблюдает его ограничения и объясняет свои рекомендации, потому что рекомендацию, которую нельзя проверить, Андрес не станет выполнять. Он инженер-технолог, а не специалист по моделированию, и именно человек, знающий линию, управляет ею.
Оптимизация не останавливается после запуска: она повторяется по мере изменения входных данных. Поставщик поверхностно-активного вещества меняется, партия ароматизатора ведёт себя иначе, спрос смещается с бутылки объёмом 400 мл на дорожный формат, а в этом квартале целью становится производительность, а не энергопотребление. Задайте цель и ограничения заново — и линия будет работать с новым оптимальным значением, а не с показателями прошлого года, начиная с наиболее похожих прошлых запусков и их исправлений. Результаты выражаются в валюте, которую отслеживает финансовый директор: один процентный пункт на предприятии с оборотом в сотни миллионов означает семизначную сумму, а один производитель продуктов питания начинает с одного процесса и получает за ним 400 заводов.
Оптимизация производства служит основой для чего-то большего: далее появятся прогнозирование качества и состояния оборудования, а по мере внедрения ИИ в производство, робототехнику и физические системы это станет первым из множества решений на большом и трансформирующем рынке.
Семантический интеллект
Каждое из описанных направлений приводит к одному и тому же вопросу: видели ли мы это раньше? Модели отвечают на него с помощью эмбеддингов — компактных векторов, отражающих форму окна во времени и частотной области, — поэтому два похожих эпизода оказываются рядом независимо от их масштаба или смещения. В потоке каждое окно встраивается по мере поступления и сопоставляется с прошлыми эпизодами и их результатами, поэтому на выходе получается не оценка, а прецедент: запуски, где возникло такое отклонение, и способ его устранения; кривые спроса, на которые больше всего похож новый SKU; подтверждённые случаи мошенничества, на которые похож текущий сеанс. Те же эмбеддинги используются для классификации и заполнения пропусков, а также индексируют контекст, который агент извлекает перед действием.
Для временных рядов это лишь начало. Как и в случае с языковыми моделями, темп ускоряется: появляются новые архитектуры и источники данных, агентные сценарии и пользовательские интерфейсы на основе моделей, а всё больше возможностей доступно к использованию уже в первый день. IBM и Confluent продолжат развивать решения так же, как начинали: вместе с партнёрами по проектированию и клиентами на реальных корпоративных сценариях, повышая производительность, точность и скорость реагирования во всех направлениях.
Станьте инновационным партнёром и начните использовать модели временных рядов в Confluent
Уже доступно в режиме раннего доступа в Confluent Cloud: прогнозирование и обнаружение аномалий непосредственно в потоках данных без обучения моделей, разработки признаков или опыта в области ИИ/машинного обучения. Confluent Cloud — отправная точка, следующим станет Confluent Platform, поэтому те же модели и возможности будут доступны в локальных и гибридных средах. Важнее всего цикл обратной связи: то, что вы обнаружите в собственных потоках, поможет моделям развиваться дальше.
- [Записаться в программу раннего доступа](https://events.confluent.io/early-access-flink-features)** и применяйте прогнозирование и обнаружение аномалий к своим потокам в собственной среде, работая непосредственно с командами IBM и Confluent. Ваши открытия определят, что появится в следующих версиях; в период раннего доступа плата не взимается.
- Документация. AI_FORECAST и AI_DETECT_ANOMALIES в Confluent Cloud для Apache Flink, а также руководство по моделям прогнозирования и обнаружения аномалий в реальном времени от создавших их специалистов.
Сообщество
· Зарегистрируйтесь или войдите, чтобы оставить комментарий
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.