专栏首页个人分享storm的作业单元:Topology

storm的作业单元:Topology

Storm系统的数据处理应用单元,是被打包的被称为Topology的作业。 它是由多个数据处理阶段组合而成的,而每个处理阶段在构造时被称为组件(Component),在运行时被称为任务。

那么,组件根据作用的不同,在Storm中分为两类:Spout组件和Bolt组件。而Topology就是这两类组件通过数据流连接的一种计算逻辑结构。(也就是说,上一个组建处理的输出结果,作为下游组件的输入数据流继续处理。如下图所示:

下来说明下一个Topology包含的这两种组件(Spout和Bolt):

Spout:Storm中的数据源编程单元,用于为Topology生产消息(数据).一般会从外部数据源不间断地读取数据,并作为一定结构的数据项(Tuple元祖)传递给Topology处理。

Bolt:Storm中的数据处理编程单元,实现Topology中的相关数据处理逻辑。在Bolt中,编程人员可以实现数据过滤、聚合、查询数据库等操作,处理的结果以一定结构的数据项,以流式处理的方式向下游组件传递和处理。

stream:组件间的数据传递分为三种形式,Stream grouping、All Grouping 、Drect Grouping等,具体等学习后再记录咯~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SparkSql官方文档中文翻译(java版本)

    Spark SQL是Spark的一个组件,用于结构化数据的计算。Spark SQL提供了一个称为DataFrames的编程抽象,DataFrames可以充当分布...

    用户3003813
  • Hive架构及Hive On Spark

    (1)Table:每个表都对应在HDFS中的目录下,数据是经过序列化后存储在该目录中。同时Hive也支持表中的数据存储在其他类型的文件系统中,如NFS或本地文件...

    用户3003813
  • Storm Topology及分组原理

    1、建立数据传输的缓冲区。在通信连接没有建立之前把发送的数据缓存起来。数据发送方可以在连接建立之前发送消息,而不需要等连接建立起来,可是的接收方是独立运行的。

    用户3003813
  • 百度、今日头条、新东方、滴滴社招安卓面经一、百度二、新东方(是新东方教育,不是新东方厨师呀,新东方厨师的广告跟挖掘机一样,打得非常响亮)三、头条四、滴滴

    牛客网
  • 架构如何为业务和技术“服务”(2)

    3,来年的架构 从2010年初设立架构组,到后来的架构组名存实亡,中心的架构工作充满了问题和认识上的误区。在新的一年,我们的架构可以做些什么呢?下面我提一点初步...

    用户1177503
  • 干货 | 浙大博士生刘汉唐带你回顾图像分割的经典算法

    AI科技评论按:图像语义分割是 AI 领域中一个重要的分支,是机器视觉技术中关于图像理解的重要一环。近年的自动驾驶技术中,也需要用到这种技术。车载摄像头探查到图...

    AI科技评论
  • 【融职教育】Web前端学习 第5章 node基础教程5 web服务器概述

    浏览器可以通过互联网想服务器发送请求,例如我们在浏览器的地址栏输入http://baidu.com后,按下回车键,浏览器就会想百度发服务器发送一个请求,服务器接...

    学习猿地
  • Web前端学习 第5章 node基础教程5 web服务器概述

    浏览器可以通过互联网想服务器发送请求,例如我们在浏览器的地址栏输入http://baidu.com后,按下回车键,浏览器就会想百度发服务器发送一个请求,服务器接...

    学习猿地
  • 学界 | CVPR 最新医学影像 AI 论文:利用学习图像变换进行数据增强

    近日,由麻省理工学院(MIT)电子工程与计算机科学(ECCS)实验室多位博士所著的医学影像AI论文被CVPR 2019收录。

    AI科技评论
  • nRF52832——软件方法关闭FPU的方法

    【问题】:为了降功耗,想关闭52832的硬件FPU,通常的方法是在KEIL中关闭,如下图所示,但是目前程序是基于FreeRTOS开发的,用此方法关闭FPU后再编...

    Winter_world

扫码关注云+社区

领取腾讯云代金券