腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

浪淘沙

专栏作者

86

文章

79180

阅读量

18

订阅数

Scala学习笔记

面向对象编程

大数据框架（处理海量数据/处理实时流式数据）一：以hadoop2.X为体系的海量数据处理框架离线数据分析，往往分析的是N+1的数据 - Mapreduce 并行计算，分而治之 - HDFS（分布式存储数据） - Yarn（分布式资源管理和任务调度）缺点：磁盘，依赖性太高（io） shuffle过程，map将数据写入到本次磁盘，reduce通过网络的方式将map task任务产生到HDFS - Hive 数据仓库的工具底层调用Mapreduce impala - Sqoop 桥梁：RDBMS（关系型数据库）- > HDFS/Hive HDFS/Hive -> RDBMS（关系型数据库） - HBASE 列式Nosql数据库，大数据的分布式数据库二：以Storm为体系的实时流式处理框架 Jstorm（Java编写）实时数据分析 -》进行实时分析应用场景：电商平台: 双11大屏实时交通监控导航系统三：以Spark为体系的数据处理框架基于内存将数据的中间结果放入到内存中（2014年递交给Apache，国内四年时间发展的非常好）核心编程： Spark Core：RDD（弹性分布式数据集），类似于Mapreduce Spark SQL：Hive Spark Streaming：Storm 高级编程：机器学习、深度学习、人工智能 SparkGraphx SparkMLlib Spark on R Flink

2018-10-18

2.5K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态