CEP 概念

5.5.1 CEP是什么

CEP是流式处理的核心技术。

不管是单独的应用系统,还是数据仓库,都是先将数据存储到数据库/数据仓库,然后再处理或查询。而CEP与常见的Message Queue系统类似,都将数据看作数据流,在连续数据的快速移动过程中进行分析处理。这样的方式不需要很大的数据加载,完全可以在内存中进行,从而能够快速产生结果,如图5.29所示。

业务事件可能很复杂,在各种不同的数据流中源源不断地产生各种类型的事件。不仅需要对这些业务事件进行复杂的计算,如过滤、关联、聚合等,同时还需要考虑这些业务事件出现的时间序列,最终才能产生有意义的事件,或触发业务流程。注意,这些计算的规则可能还会经常变化。

这类问题通常通过基于规则的推理机(规则引擎)来实现,如图5.30所示。

图5.29

图5.30

5.5.2 CEP的架构

CEP的架构如图5.31所示。

图5.31

CEP在逻辑上应该包括:

  • 事件发生器通过应用系统、文件系统、数据库、互联网、人工及传感器产生事件。
  • 事件处理器模式的匹配、验证和改进、路由、转换及编排。
  • 事件消费者与事件发生器类似,也可以是应用系统、文件系统、数据库、互联网、人工界面等。

CEP将数据看作一种数据流,基于规则引擎对业务过程中持续产生的各种事件进行复杂的处理,能够实现对连续数据的快速分析处理。CEP可以应用在多种业务场景,如风险分析、程序化交易等。如果说BI实现了商业智能,那么CEP则实现了“持续智能(Continuous Intelligence)”。

5.5.3 Esper

Esper是一个开源的CEP实现。Esper是纯Java开源复杂事件和事件流引擎,可以监测事件流,并在特定事件发生时触发某些动作。Esper引擎是为了满足事件进行分析并做出反应等应用需求而产生的。这些应用需求实时或者接近实时地处理事件(或消息)。这类应用具有高吞吐量、低响应时延和复杂的计算等特点。

Esper引擎的典型应用有:

  • 业务处理管理和自动化(处理监控、业务活动监控、异常报告、经营智能化等)。
  • 财务(算法交易、欺诈检查、风险管理)。
  • 网络及应用程序监控[入侵检测、SLA(Service Level Agreement)监控]。
  • 传感器网络应用(RFID读取、生产线调度和控制、空中交通)。
  • Esper支持类SQL语句EPL(Event Process Language)。

本文选自本人新作《大数据架构详解:从数据获取到深度学习》5.5.1/5.5.2节。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-03-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

【BDTC 2015】数据库分论坛:GBase 8t、PosgreSQL-X2核心技术解析

2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办,...

2536
来自专栏HaHack

Wixo - a wiki theme for Hexo

2143
来自专栏美丽动人

追根溯源解杂音之谜,臻于至善得完美音质

不久前,团队发现其Android平台App在播放MV视频《凤凰花开的路口》时,会带有如电流声一般的杂音,这影响了用户体验。 研发同学在初步定位时,发现有如下特征...

1010
来自专栏即时通讯技术

P2P技术如何将实时视频直播带宽降低75%?

实时视频直播经过去年的千播大战后已经成为互联网应用的标配技术,但直播平台的成本却一直居高不下,各个平台除了挖主播、挖网红以外,其背后高额的带宽费用也是他们最大的...

6393
来自专栏机器学习算法与Python学习

Chrome 的哪些功能改变了我们浏览网页的方式?

Chrome已经十岁了,正式进入了少年时期,过不多久它就要长起小胡子并且声音变得嘶哑。

882
来自专栏Android 开发者

[译] 怎样把取消订阅的用户吸引回来

4174
来自专栏工科狗和生物喵

【闲来无事,py写game】Mac-Python3.5安装pygame 1.9.2 小计

正文之前 没错,我就是这么不学无术,C++实在学的鸡儿疼,所以干脆搞点娱乐措施,昨天赶上了京东图书做大活动,所以屯了一批书,好久没碰python了。所以就整本玩...

6136
来自专栏花叔的专栏

非技术同学该怎么解读小程序官方API

部分非技术的同学,可能对小程序提供的开发能力还是比较陌生,好多产品或者品牌同学会问小程序能做什么样的功能,楼主今天尝试用简单的话来重新阐述一下,希望对非技术的同...

3858
来自专栏Android 开发者

[译] Google Play 控制台指南:Google Play 控制台能为你做的都不仅仅是发布应用这么简单而已

9943
来自专栏极乐技术社区

小程序一周报 | 小程序插件功能上线/小程序广告正式上线

3月13日,小程序插件功能上线,插件是可被添加到小程序内直接使用的功能组件。开发者可以像开发小程序一样开发一个插件,供其他小程序使用。同时,小程序开发者可直接在...

1580

扫码关注云+社区

领取腾讯云代金券