Комплексная обработка событий - Complex event processing

Обработка событий - это метод отслеживания и анализа (обработки) потоков информации (данных) о событиях, которые происходят (события), и получения из них заключения. Комплексная обработка событий , или CEP , состоит из набора концепций и методов, разработанных в начале 1990-х годов для обработки событий в реальном времени и извлечения информации из потоков событий по мере их поступления. Целью комплексной обработки событий является выявление значимых событий (таких как возможности или угрозы) в ситуациях в реальном времени и максимально быстрое реагирование на них.

Эти события могут происходить на различных уровнях организации в виде потенциальных клиентов, заказов или звонков в службу поддержки . Или они могут быть новостные статьи, текстовые сообщения , социальные медиа сообщений , фондовый рынок кормов , отчеты о трафике , сводки погоды , или другие виды данных. Событие также может быть определено как «изменение состояния», когда измерение превышает заранее определенный порог времени, температуры или другого значения.

Аналитики предположили, что CEP предоставит организациям новый способ анализа закономерностей в режиме реального времени и поможет бизнесу лучше общаться с ИТ-отделами и отделами обслуживания. С тех пор CEP стала технологией во многих системах, которые используются для немедленных действий в ответ на входящие потоки событий. В настоящее время (2018 г.) приложения можно найти во многих секторах бизнеса, включая торговые системы на фондовом рынке, мобильные устройства , операции в Интернете, обнаружение мошенничества , транспортную отрасль и сбор правительственной разведки .

Огромный объем доступной информации о событиях иногда называют облаком событий.

Концептуальное описание

Среди тысяч входящих событий система мониторинга может, например, получить следующие три из одного источника:

  1. звон церковных колоколов.
  2. появление мужчины в смокинге и женщины в струящемся белом платье.
  3. рис летит по воздуху.

По этим событиям система мониторинга может сделать вывод о сложном событии : свадьбе. CEP как метод помогает обнаруживать сложные события, анализируя и соотнося другие события: колокола, мужчина и женщина в свадебных нарядах и рис, летящий по воздуху.

CEP использует ряд методов, в том числе:

Коммерческие приложения CEP существуют в различных отраслях и включают обнаружение мошенничества с кредитными картами , мониторинг деловой активности и мониторинг безопасности.

История

Область CEP уходит корнями в моделирование дискретных событий , активную область базы данных и некоторые языки программирования. Активности в отрасли предшествовала волна исследовательских проектов в 1990-е годы. Согласно первому проекту, проложившему путь к общему языку CEP и модели исполнения, был проект Rapide в Стэнфордском университете , которым руководил Дэвид Лакхэм . Параллельно осуществлялись еще два исследовательских проекта: «Инфосферы» в Калифорнийском технологическом институте под руководством К. Мани Чанди и « Апама» в Кембриджском университете под руководством Джона Бейтса. Коммерческие продукты зависели от концепций, разработанных в этих и некоторых более поздних исследовательских проектах. Усилия сообщества начались с серии симпозиумов по обработке событий, организованных Техническим обществом по обработке событий , а затем с серии конференций ACM DEBS. Одним из усилий сообщества было создание манифеста обработки событий.

Связанные понятия

CEP используется в продуктах для оперативной аналитики (OI), чтобы обеспечить понимание бизнес-операций путем выполнения анализа запросов к потокам в реальном времени и данным событий. OI собирает данные в реальном времени и сопоставляет их с историческими данными, чтобы обеспечить понимание и анализ. Можно объединить несколько источников данных, чтобы получить общую картину работы, в которой используется текущая информация.

В управлении сетью , системном управлении , управлении приложениями и управлении услугами люди обычно вместо этого ссылаются на корреляцию событий . Как механизмы CEP, механизмы корреляции событий ( корреляторы событий ) анализируют массу событий, выявляют наиболее важные из них и инициируют действия. Однако большинство из них не приводят к новым предполагаемым событиям. Вместо этого они связывают события высокого уровня с событиями низкого уровня.

Механизмы вывода , например механизмы рассуждений на основе правил , обычно производят предполагаемую информацию в искусственном интеллекте . Однако они обычно не производят новую информацию в виде сложных (т. Е. Предполагаемых) событий.

Пример

Более системный пример CEP включает автомобиль, некоторые датчики и различные события и реакции. Представьте себе, что у автомобиля есть несколько датчиков: один измеряет давление в шинах, второй измеряет скорость, а третий определяет, садится ли кто-то на сиденье или встает с него.

В первой ситуации автомобиль движется, и давление в одной из шин изменяется с 45 фунтов на квадратный дюйм до 41 фунтов на квадратный дюйм за 15 минут. По мере того, как давление в шине снижается, создается серия событий, содержащих давление в шине. Кроме того, генерируется серия событий, содержащих информацию о скорости автомобиля. Процессор событий автомобиля может обнаружить ситуацию, когда потеря давления в шинах в течение относительно длительного периода времени приводит к возникновению события «lossOfTirePressure». Это новое событие может запустить процесс реакции, чтобы записать потерю давления в журнал технического обслуживания автомобиля и предупредить водителя через портал автомобиля о том, что давление в шинах снизилось.

Во второй ситуации автомобиль движется, и давление в одной из шин падает с 45 до 20 фунтов на квадратный дюйм за 5 секунд. Обнаружена иная ситуация - возможно, из-за того, что потеря давления произошла в течение более короткого периода времени, или, возможно, из-за того, что разница в значениях между каждым событием была больше заранее определенного предела. Другая ситуация приводит к генерации нового события «blowOutTire». Это новое событие запускает другой процесс реакции, чтобы немедленно предупредить водителя и запустить процедуры бортового компьютера, чтобы помочь водителю остановить автомобиль, не теряя управления из-за заноса.

Кроме того, события, которые представляют обнаруженные ситуации, также могут быть объединены с другими событиями для обнаружения более сложных ситуаций. Например, в конечной ситуации автомобиль движется нормально и у него лопается шина, в результате автомобиль съезжает с дороги и врезается в дерево, а водителя выкидывает из машины. Быстро выявляется ряд различных ситуаций. Комбинация «blowOutTire», «zeroSpeed» и «driverLeftSeat» в течение очень короткого периода времени приводит к обнаружению новой ситуации: «occidentThrownAccident». Несмотря на то, что нет прямого измерения, которое может окончательно определить, что водитель был сброшен, или что произошла авария, комбинация событий позволяет обнаружить ситуацию и создать новое событие, чтобы обозначить обнаруженную ситуацию. В этом суть сложного (или составного) события. Это сложно, потому что невозможно напрямую обнаружить ситуацию; нужно сделать вывод или сделать вывод, что ситуация возникла из-за комбинации других событий.

Интеграция с управлением бизнес-процессами

Естественным подходом для CEP было управление бизнес-процессами (BPM). BPM фокусируется на сквозных бизнес-процессах, чтобы постоянно оптимизировать и согласовывать свою операционную среду.

Однако оптимизация бизнеса не зависит исключительно от его индивидуальных сквозных процессов. На первый взгляд разрозненные процессы могут существенно влиять друг на друга. Рассмотрим следующий сценарий: в аэрокосмической отрасли рекомендуется отслеживать поломки транспортных средств для выявления тенденций (определения потенциальных слабых мест в производственных процессах, материалах и т. Д.). Другой отдельный процесс отслеживает текущие жизненные циклы эксплуатируемых транспортных средств и выводит их из эксплуатации, когда это необходимо. Одно из применений CEP - связать эти отдельные процессы, так что в случае, если начальный процесс (мониторинг поломки) обнаруживает неисправность на основе усталости металла (значимое событие), может быть создано действие для использования второго процесса (жизненный цикл ) для оформления отзыва на автомобили, в которых используется та же партия металла, которая была признана дефектной на начальном этапе.

Интеграция CEP и BPM должна существовать на двух уровнях, как на уровне бизнес-осведомленности (пользователи должны понимать потенциальные целостные преимущества своих индивидуальных процессов), так и на технологическом уровне (должен быть метод, с помощью которого CEP может взаимодействовать с Внедрение BPM). Чтобы ознакомиться с последним обзором современного состояния интеграции CEP с BPM, который часто называют Event-Driven Business Process Management, обратитесь к.

Можно предположить, что роль CEP, ориентированная на вычисления, частично совпадает с технологией Business Rule.

Например, центры обслуживания клиентов используют CEP для анализа потока кликов и управления клиентским опытом. Программное обеспечение CEP может вносить информацию в реальном времени о миллионах событий (щелчков или других взаимодействий) в секунду в бизнес-аналитику и другие приложения для поддержки принятия решений . Эти « рекомендательные приложения » помогают агентам предоставлять персонализированные услуги, основанные на опыте каждого клиента. Приложение CEP может собирать данные о том, что в настоящее время делают клиенты по телефону или как они недавно взаимодействовали с компанией по другим каналам, в том числе в филиалах, или в Интернете с помощью функций самообслуживания, обмена мгновенными сообщениями и электронной почты. Затем приложение анализирует общий опыт работы с клиентами и рекомендует сценарии или следующие шаги, которые помогут агенту по телефону и, надеюсь, оставят клиента довольным.

Интеграция с базами данных временных рядов

База данных временных рядов является системное программное обеспечение, оптимизированное для обработки данных , организованных по времени. Временные ряды - это конечные или бесконечные последовательности элементов данных, где каждый элемент имеет связанную временную метку, а последовательность временных меток не убывает. Элементы временного ряда часто называют тиками. Временные метки не обязательно должны быть возрастающими (просто неубывающими), потому что на практике временное разрешение некоторых систем, таких как источники финансовых данных, может быть довольно низким (миллисекунды, микросекунды или даже наносекунды), поэтому последовательные события могут иметь одинаковые временные метки.

Данные временных рядов предоставляют исторический контекст для анализа, обычно связанного со сложной обработкой событий. Это может относиться к любой вертикальной отрасли, такой как финансы, и совместно с другими технологиями, такими как BPM.

Идеальный случай для анализа CEP - это просмотр исторических временных рядов и потоковых данных в реальном времени как единого временного континуума. То, что произошло вчера, на прошлой неделе или в прошлом месяце, - это просто продолжение того, что происходит сегодня, и того, что может произойти в будущем. Пример может включать сравнение текущих рыночных объемов с историческими объемами, ценами и волатильностью для логики исполнения сделок. Или необходимость действовать в соответствии с текущими рыночными ценами может включать сравнения с эталонными показателями, которые включают движения секторов и индексов, чьи дневные и исторические тенденции измеряют волатильность и сглаживают выбросы.

Интернет вещей и интеллектуальные киберфизические системы

Обработка сложных событий является ключевым фактором в настройках Интернета вещей (IoT), а также интеллектуальных киберфизических систем (CPS). Обработка плотных и разнородных потоков от различных датчиков и сопоставление шаблонов с этими потоками является типичной задачей в таких случаях. Большинство этих методов основаны на том факте, что представление состояния системы IoT и ее изменений более эффективно в форме потока данных, а не в виде статической материализованной модели. Рассуждения по таким потоковым моделям в корне отличаются от традиционных методов рассуждений и обычно требуют комбинации преобразований модели и CEP.

Смотрите также

Продавцы и продукты

  • Apama от Software AG - отслеживает быстро движущиеся потоки событий, обнаруживает и анализирует важные закономерности и принимает меры в соответствии с правилами.
  • Azure Stream Analytics
  • Drools Fusion
  • EVAM Streaming Analytics
  • Esper Комплексная обработка событий для Java и C # (GPLv2).
  • Feedzai - Пульс
  • Microsoft StreamInsight Реализация Microsoft CEP Engine
  • openPDC - набор приложений для обработки потоковых данных временных рядов в реальном времени.
  • Oracle Event Processing - для создания приложений для фильтрации, корреляции и обработки событий в реальном времени.
  • SAP ESP - платформа быстрой разработки и развертывания с малой задержкой, которая позволяет обрабатывать несколько потоков данных в режиме реального времени.
  • SQLstream Платформа потоковой обработки SQLstream, s-Server, предоставляет платформу реляционных потоковых вычислений для анализа больших объемов данных служб, датчиков, машин и файлов журналов в режиме реального времени.
  • TIBCO BusinessEvents & Streambase - платформа CEP и высокопроизводительная обработка потока событий с малой задержкой
  • WebSphere Business Events
  • Apache Flink Платформа распределенной потоковой обработки с открытым исходным кодом и CEP API для Java и Scala.
  • Apache Storm Бесплатная распределенная система вычислений в реальном времени с открытым исходным кодом. Storm обрабатывает неограниченные потоки данных в реальном времени.

Рекомендации

Внешние ссылки