腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

java架构师

专栏作者

99

文章

82451

阅读量

30

订阅数

Hadoop添加节点datanode

这个会非常耗时 1）如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mapred的工作效率 2）设置平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长 [root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5 3）设置balance的带宽，默认只有1M/s

2019-01-30

1.6K0

Hadoop学习13--zookeeper相关

node.js zookeeper bash bash 指令

zookeeper要保证各个server之间同步，实现同步的协议是zab协议。此协议有两种模式：恢复模式（选主）和广播模式（同步）。服务启动或者leader崩溃时，进入恢复模式。选举成功且大多数server完成了和leader的状态同步后（2n+1台中的n+1台），恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zx

2018-04-16

6400

Hadoop总结篇之四---底层通信是怎么做到的

rpc yarn node.js

上一篇介绍了一个job的提交过程。期间多次提到通信协议。那么协议是什么？协议其实就是通信的双方所遵守的一套规范，这套规范规定了通信时传输的数据的固定的格式。 4.1 RPC协议：在hadoop中，我们采用的是RPC协议。该协议主要包含四个部分：序列化层：协议中的参数采用Protocol Buffers来序列化/反序列化。这个Protocol Buffers是一种数据存储格式，可以理解我们按照其语法格式定义一个数据结构类model，然后使用工具（Protocol Buffers编译器）编译为我们所使用

2018-04-16

7160

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态