岑玉海-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

岑玉海

专栏成员

105

文章

138746

阅读量

56

订阅数

hbase源码系列（六）HMaster启动过程

hbase 编程算法分布式

　　这一章是server端开始的第一章，有兴趣的朋友先去看一下hbase的架构图，我专门从网上弄下来的。　　按照HMaster的run方法的注释，我们可以了解到它的启动过程会去做以下的动作。 * <li>阻塞直到变成ActiveMaster * <li>结束初始化操作 * <li>循环 * <li>停止服务并执行清理操作* </ol> 　　HMaster是没有单点问题是，因为它可以同时启动多个HMaster，然后通过zk的选举算法选出一个HMaster来。　　我们首先来看看这个阻塞直到变成Act

2018-03-01

2.2K0

Spark源码系列（五）分布式缓存

spark 分布式

这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 def persist(newLevel: StorageLevel): this.type = { // StorageLevel不能随意更改 if (storageLevel != StorageLevel.NONE && newLevel != storageLevel) { throw new UnsupportedOperationException(

2018-02-28

1.1K0

Hadoop源码系列（一）FairScheduler申请和分配container的过程

hadoop 分布式

1、如何申请资源 1.1 如何启动AM并申请资源 1.1.1 如何启动AM val yarnClient = YarnClient.createYarnClient setupCredentials() yarnClient.init(yarnConf) yarnClient.start() // Get a new application from our RM val newApp = yarnClient.createApplication() val newAppResponse = newApp.

2018-02-28

1.2K0

hadoop 分布式

看《Hadoop：权威指南》的时候收集了书上写的一些需要优化的参数，记录了一下子，给大家分享一下吧。 1.mapred.task.timeout 任务超时时间，默认是10分钟 2.mapred.map.max.attempts mapred.reduce.max.attempts 默认任务失败重复次数为4 3.mapred.max.map.failures.percent mapred.reduce.map.failures.percent 不触发错误的失败的最

2018-02-28

9480

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态