开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >Spark笔记2-生态系统

Spark笔记2-生态系统

作者头像

皮大大

发布于 2021-03-02 15:36:53

2260

发布于 2021-03-02 15:36:53

举报

文章被收录于专栏：机器学习/数据可视化

三大应用常景

场景

复杂的批处理：MapReduce
交互式查询
基于实时数据流的流处理：storm

缺陷

数据无法无缝共享，数据格式需要进行转换
维护成本高
资源利用率低下：每个资源框架都有自己的调度管家

Spark生态

一个软件栈满足不同的应用场景，通过YRAN作为公共的资源调度管家。

SQL及时查询
流式计算
机器学习
图计算

构成

机器学习算法库

各个组件应用

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2019-10-23，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

三大应用常景
- 场景
- 缺陷
Spark生态
- 构成
- 机器学习算法库
- 各个组件应用

相关产品与服务

流计算 Oceanus

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的企业级实时大数据分析平台，具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。

产品介绍产品文档

腾讯云大数据特惠专场