开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >Spark笔记14-SparkStreaming运行及创建

Spark笔记14-SparkStreaming运行及创建

作者头像

皮大大

发布于 2021-03-02 15:41:43

2570

发布于 2021-03-02 15:41:43

举报

文章被收录于专栏：机器学习/数据可视化

SparkStreaming 数据源

SparkStreaming的数据来源广泛，主要有

Kafka
HDFS
Flume
DataBases
Dashboards
Tcp socket

基本原理

将实时输入的数据流以时间片（秒级）为单位进行拆分，然后经过Spark引擎之后，以类似批处理的方式处理每个时间片的数据。

用一系列微小的批处理来模拟流计算，并不是真正的流计算

SparkStreaming和Storm

	SS	Storm
毫秒级响应	无法实现	可以实现
实时计算	可以实时计算	可以实时计算
容错处理	RDD数据集更容易、更高效的容错处理	高度容错
计算方式	兼容批量和实时处理数据	实时流计算

如果需要同时处理实时数据和历史数据，则可以使用Spark Streaming

容错性好
可以同时支持实时和历史数据

Spark streaming 运行机制

Spark Streaming中有个组件Receiver。长期运行的task跑在一个Executor上
每个Receiver负责一个数据源，多种数据来源

编写

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2019-11-2，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

SparkStreaming 数据源
基本原理
SparkStreaming和Storm
Spark streaming 运行机制
编写

相关产品与服务

流计算 Oceanus

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的企业级实时大数据分析平台，具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。

产品介绍产品文档

腾讯云大数据特惠专场