腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

LhWorld哥陪你聊算法

欢迎大家微信公众号LHWorld 带你领略算法和大数据的魅力；主页地址：https://blog.csdn.net/LHWorldBlog

专栏作者

159

文章

244489

阅读量

42

订阅数

从0到1搭建spark集群---企业集群搭建

spark hadoop http apache html

今天分享一篇从0到1搭建Spark集群的步骤，企业中大家亦可以参照次集群搭建自己的Spark集群。

LhWorld哥陪你聊算法

2018-09-13

2.1K0

【Spark篇】---Spark中内存管理和Shuffle参数调优

spark jvm 存储大数据 ide

Spark执行应用程序时，Spark集群会启动Driver和Executor两种JVM进程，Driver负责创建SparkContext上下文，提交任务，task的分发等。Executor负责task的计算任务，并将结果返回给Driver。同时需要为需要持久化的RDD提供储存。Driver端的内存管理比较简单，这里所说的Spark内存管理针对Executor端的内存管理。

LhWorld哥陪你聊算法

2018-09-13

1.3K0

【Spark篇】---Spark故障解决（troubleshooting）

1) connection timeout ----shuffle file cannot find

LhWorld哥陪你聊算法

2018-09-13

4830

【Spark篇】---Spark中Shuffle文件的寻址

Spark中Shuffle文件的寻址是一个文件底层的管理机制，所以还是有必要了解一下的。

LhWorld哥陪你聊算法

2018-09-13

7610

【Spark篇】---SparkSQL on Hive的配置和使用

spark sql hive xml zookeeper

Spark on Hive： Hive只作为储存角色，Spark负责sql解析优化，执行。

LhWorld哥陪你聊算法

2018-09-13

4K0

【Spark篇】---Spark中资源和任务调度源码分析与资源配置参数应用

spark yarn jar scala apache

Spark中资源调度是一个非常核心的模块，尤其对于我们提交参数来说，需要具体到某些配置，所以提交配置的参数于源码一一对应，掌握此节对于Spark在任务执行过程中的资源分配会更上一层楼。由于源码部分太多本节只抽取关键部分和结论阐述，更多的偏于应用。

LhWorld哥陪你聊算法

2018-09-13

1.1K0

【Spark篇】---Spark中Master-HA和historyServer的搭建和应用

spark zookeeper 分布式存储 java

Standalone集群只有一个Master，如果Master挂了就无法提交应用程序，需要给Master进行高可用配置，Master的高可用可以使用fileSystem(文件系统)和zookeeper（分布式协调服务）。

LhWorld哥陪你聊算法

2018-09-13

1K0

【Spark篇】---Spark初始

spark mapreduce hadoop 大数据 apache

Spark是基于内存的计算框架，性能要优于Mapreduce，可以实现hadoop生态圈中的多个组件，是一个非常优秀的大数据框架，是Apache的顶级项目。One stack rule them all 霸气。

LhWorld哥陪你聊算法

2018-09-13

9460

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态