流式计算的代表：Storm、Flink、Spark Streaming

learn from 从0开始学大数据（极客时间）

文章目录

• • 1. Storm
  • 2. Spark Streaming
  • 3. Flink
• 对存储在磁盘上的数据进行大规模计算处理，大数据批处理
• 对实时产生的大规模数据进行处理，大数据流计算

1. Storm

一些系统 业务逻辑 和 数据处理逻辑 混合，系统不能复用到其他需求上

Storm 中，只需要编程开发好 数据处理逻辑 和 数据源逻辑，处理好拓扑关系

2. Spark Streaming

Spark Streaming 巧妙地利用了 Spark 的分片和快速计算的特性，将实时传输进来的数据按照时间进行分段，把一段时间传输进来的数据合并在一起，当作一批数据，再去交给 Spark 去处理。

Spark Streaming 主要负责 将流数据转换成小的批数据，剩下的交给 Spark 去做

3. Flink

• 既可以 流处理，也可以 批处理
• 初始化相应的执行环境
• 在数据流或数据集上执行数据转换操作

• 流计算就是将 大规模实时计算的 资源管理 和 数据流转 都统一管理起来
• 开发者只要开发 针对小数据量的 数据处理逻辑，然后部署到 流计算平台上，就可以对 大规模数据 进行 流式计算了