程序萌部落-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

程序萌部落

个人博客请访问 www.cxmoe.com，自19年8月起搬迁至此。

专栏成员

130

文章

299424

阅读量

27

订阅数

分布式执行代码的认知纠正

分布式 spark scala java

Spark是一个分布式计算系统/组件/平台，这是都知道的，其用Scala实现Spark任务也是最原生的，但万万不能认为只要是在Spark环境下执行的Scala代码都是分布式执行的，这是大错特错的，一开始一直有错误的认识，但现在想想，如果拿Java和Hadoop的关系来作对比，其就很容易理解了。

2019-08-08

6120

Spark图计算及GraphX简单入门

spark 数据结构存储分布式编程算法

Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。

2019-08-08

2.6K0

Spark的RDDs相关内容

spark 编程算法 scala 分布式

通常使用parallelize()函数可以创建一个简单的RDD，测试用（为了方便观察结果）。

2019-08-08

5550

Hadoop集群运行时问题

hadoop 大数据 node.js jar 分布式

有hadoop01-04 四个节点，现在只开hadoop01，只用master 修改master节点的 /etc/local/hadoop/etc/hadoop/slaves文件将hadoop01加入，即之前没有hadoop01，表明master节点只有namenode，没有datanode，现在将datanode让之启动，就可以使master有双重身份其他配置，其他节点的配置，均不改以上类似伪分布式，但是更灵活，本身为完全分布式状态，只运行hadoop01时即为节点缺省状态，当其他节点运行时，不用任何改动即可以成为一个集群。完。

2019-08-08

7520

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态