腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
java架构师
专栏成员
举报
99
文章
85271
阅读量
30
订阅数
订阅专栏
申请加入专栏
全部文章(99)
其他(20)
hadoop(12)
java(11)
html(6)
数据库(6)
编程算法(6)
javascript(5)
c#(5)
spring(5)
asp.net(4)
sql(4)
yarn(4)
容器(4)
node.js(3)
http(3)
存储(3)
分布式(3)
sql server(3)
安全(3)
架构设计(3)
bash(2)
xml(2)
css(2)
jquery(2)
ajax(2)
android(2)
mvc(2)
linux(2)
bash 指令(2)
人工智能(2)
图像处理(2)
面向对象编程(2)
aop(2)
flash(2)
windows(2)
c++(1)
.net(1)
jsp(1)
json(1)
云数据库 SQL Server(1)
eclipse(1)
unix(1)
访问管理(1)
消息队列 CMQ 版(1)
腾讯云测试服务(1)
网络安全(1)
ssh(1)
asp(1)
zookeeper(1)
tcp/ip(1)
rpc(1)
敏捷开发(1)
数据分析(1)
数据结构(1)
https(1)
系统架构(1)
腾讯云开发者社区(1)
kafka(1)
bit(1)
border(1)
copy(1)
epoch(1)
io(1)
lock(1)
refresh(1)
session(1)
set(1)
web(1)
读书笔记(1)
敏捷(1)
软件开发(1)
生命周期(1)
重构(1)
搜索文章
搜索
搜索
关闭
Hadoop添加节点datanode
node.js
hadoop
这个会非常耗时 1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率 2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长 [root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5 3)设置balance的带宽,默认只有1M/s
小端
2019-01-30
1.7K
0
Hadoop学习13--zookeeper相关
node.js
zookeeper
bash
bash 指令
zookeeper要保证各个server之间同步,实现同步的协议是zab协议。此协议有两种模式:恢复模式(选主)和广播模式(同步)。 服务启动或者leader崩溃时,进入恢复模式。选举成功且大多数server完成了和leader的状态同步后(2n+1台中的n+1台),恢复模式就结束了。 状态同步保证了leader和Server具有相同的系统状态。为了保证事务的顺序一致性,zookeeper采用了递增的事务id号 (zxid)来标识事务。所有的提议(proposal)都在被提出的时候加上了zxid。实现中zx
小端
2018-04-16
658
0
Hadoop总结篇之四---底层通信是怎么做到的
rpc
yarn
node.js
上一篇介绍了一个job的提交过程。期间多次提到通信协议。那么协议是什么? 协议其实就是通信的双方所遵守的一套规范,这套规范规定了通信时传输的数据的固定的格式。 4.1 RPC协议:在hadoop中,我们采用的是RPC协议。 该协议主要包含四个部分: 序列化层:协议中的参数采用Protocol Buffers来序列化/反序列化。 这个Protocol Buffers是一种数据存储格式,可以理解我们按照其语法格式定义一个数据结构类model,然后使用工具(Protocol Buffers编译器)编译为我们所使用
小端
2018-04-16
749
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档