首页
学习
活动
专区
工具
TVP
发布

程序萌部落

个人博客请访问 www.cxmoe.com,自19年8月起搬迁至此。
专栏成员
130
文章
299256
阅读量
27
订阅数
分布式执行代码的认知纠正
Spark是一个分布式计算系统/组件/平台,这是都知道的,其用Scala实现Spark任务也是最原生的,但万万不能认为只要是在Spark环境下执行的Scala代码都是分布式执行的,这是大错特错的,一开始一直有错误的认识,但现在想想,如果拿Java和Hadoop的关系来作对比,其就很容易理解了。
ZONGLYN
2019-08-08
6110
Spark图计算及GraphX简单入门
Spark GraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。
ZONGLYN
2019-08-08
2.6K0
Spark的RDDs相关内容
通常使用parallelize()函数可以创建一个简单的RDD,测试用(为了方便观察结果)。
ZONGLYN
2019-08-08
5550
Hadoop集群运行时问题
有hadoop01-04 四个节点,现在只开hadoop01,只用master 修改master节点的 /etc/local/hadoop/etc/hadoop/slaves文件 将hadoop01加入,即之前没有hadoop01,表明master节点只有namenode,没有datanode, 现在将datanode让之启动,就可以使master有双重身份 其他配置,其他节点的配置,均不改 以上类似伪分布式,但是更灵活,本身为完全分布式状态,只运行hadoop01时即为节点缺省状态,当其他节点运行时,不用任何改动即可以成为一个集群。 完。
ZONGLYN
2019-08-08
7510
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档