CEP 概念

5.5.1 CEP是什么

CEP是流式处理的核心技术。

不管是单独的应用系统,还是数据仓库,都是先将数据存储到数据库/数据仓库,然后再处理或查询。而CEP与常见的Message Queue系统类似,都将数据看作数据流,在连续数据的快速移动过程中进行分析处理。这样的方式不需要很大的数据加载,完全可以在内存中进行,从而能够快速产生结果,如图5.29所示。

业务事件可能很复杂,在各种不同的数据流中源源不断地产生各种类型的事件。不仅需要对这些业务事件进行复杂的计算,如过滤、关联、聚合等,同时还需要考虑这些业务事件出现的时间序列,最终才能产生有意义的事件,或触发业务流程。注意,这些计算的规则可能还会经常变化。

这类问题通常通过基于规则的推理机(规则引擎)来实现,如图5.30所示。

图5.29

图5.30

5.5.2 CEP的架构

CEP的架构如图5.31所示。

图5.31

CEP在逻辑上应该包括:

  • 事件发生器通过应用系统、文件系统、数据库、互联网、人工及传感器产生事件。
  • 事件处理器模式的匹配、验证和改进、路由、转换及编排。
  • 事件消费者与事件发生器类似,也可以是应用系统、文件系统、数据库、互联网、人工界面等。

CEP将数据看作一种数据流,基于规则引擎对业务过程中持续产生的各种事件进行复杂的处理,能够实现对连续数据的快速分析处理。CEP可以应用在多种业务场景,如风险分析、程序化交易等。如果说BI实现了商业智能,那么CEP则实现了“持续智能(Continuous Intelligence)”。

5.5.3 Esper

Esper是一个开源的CEP实现。Esper是纯Java开源复杂事件和事件流引擎,可以监测事件流,并在特定事件发生时触发某些动作。Esper引擎是为了满足事件进行分析并做出反应等应用需求而产生的。这些应用需求实时或者接近实时地处理事件(或消息)。这类应用具有高吞吐量、低响应时延和复杂的计算等特点。

Esper引擎的典型应用有:

  • 业务处理管理和自动化(处理监控、业务活动监控、异常报告、经营智能化等)。
  • 财务(算法交易、欺诈检查、风险管理)。
  • 网络及应用程序监控[入侵检测、SLA(Service Level Agreement)监控]。
  • 传感器网络应用(RFID读取、生产线调度和控制、空中交通)。
  • Esper支持类SQL语句EPL(Event Process Language)。

本文选自本人新作《大数据架构详解:从数据获取到深度学习》5.5.1/5.5.2节。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-03-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

【译文】如何打造高性能大数据分析平台

大数据是最近IT界最常用的术语之一。然而对大数据的定义也不尽相同,所有已知的论点例如结构化的和非结构化、大规模的数据等等都不够完整。大数据系统通常被认为具有数据...

574
来自专栏云成本管理

云成本管理方法论(一)——云成本管理模型

由于零固定投资和具有弹性等显著优势,云计算已被绝大多数的企业所采用。但与此同时,由于尚未形成有效的管理实践,云资源的过度使用和浪费已成为云用户关注的最主要问题。

42410
来自专栏美团技术团队

智能投放系统之场景分析最佳实践

背景 美团点评作为最大的生活服务互联网平台,需要针对数亿用户进行各种运营活动,而其线上存在超过千万的POI,覆盖超过2000城市、2.5万个后台商圈。在海量数据...

35312
来自专栏腾讯技术工程官方号的专栏

鹅厂上万节点大规模集群的跨城自动迁移(上)

当上百P的数据,上万个节点的集群进行跨城迁移时,如何在有限的带宽下实现自动、高效、稳定地迁移?本文将跟你一一揭晓!

9442
来自专栏北京马哥教育

运维CMDB建设思路

? ? 在我们日常的运维工作中,面对着大量的基础设施和软件服务,该如何管理?这个管理的原则又是什么?粒度该如何控制?我们是否可以建立一个统一的标准模...

3789
来自专栏华章科技

如何打造高性能大数据分析平台

译者:袁璞,圣特尔•E店宝大数据架构师,关注高性能或可用架构、大数据技术、机器学习。

421
来自专栏数据和云

技术人心中需要建立的标尺

今天,在我的个人微信讨论群中,有朋友问了一个问题: 关于数据库的负载信息怎么判断好坏啊?有没有一个尺度啊? 这是一个很好的问题,我个人也经历了这样的一个学习过程...

2634
来自专栏SDNLAB

SDN实战团分享(三十一):Segment Routing meet SDN

一、介绍 ? 在1990年代Yakov, Eric Rosen, Kompella很多业界先驱(仅列举了Juniper公司的MPLS业界领袖,其他公司也有 很多...

52216
来自专栏美团技术团队

美团酒旅实时数据规则引擎应用实践

2848
来自专栏携程技术中心

干货 | 携程图片服务架构

1376

扫码关注云+社区