腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

岑玉海

专栏作者

105

文章

133895

阅读量

56

订阅数

hbase 学习（十二）非mapreduce生成Hfile，然后导入hbase当中

hbase mapreduce zookeeper

　　最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile的方式，实现了之后，发现单线程入库速度才达到1w4左右，和之前的多线程的全速差不多了，百思不得其解之时，调整

2018-03-01

1.3K0

Hbase 学习（六）配置文件调优

hbase zookeeper 安全

这部分的内容，网上多了去了，都大同小异的，仅作为备忘录，省得需要的时候又要到处查。 1.zookeeper.session.timeout 默认3分钟，zookeeper和hbase通信的超时时间，设置为1分钟或者更少。 2.hbase.regionserver.handler.count 默认为10，很明显不够，在读多，写少的情况下设置为用户的最大数比较安全，但是在写操作比较多的情况下，可能会发生OutOfMemoryError的错误。 3.perf.hfile.block.cache.si

2018-03-01

5810

hbase 学习（十六）系统架构图

hbase 系统架构 zookeeper 存储

　　HBase 系统架构图　　组成部件说明　　Client：　　使用HBase RPC机制与HMaster和HRegionServer进行通信　　Client与HMaster进行通

2018-02-28

1.5K0

hbase java zookeeper

　　hbase的部署相对于java来说就比较简单啦，主要过程如下：　　1.下载hbase最新的稳定版　　2.拷贝到相应的目录　　3.修改conf目录下的hbase-env.sh,设置java 和不适用内置的zookeeper 　　export JAVA_HOME=/usr/java/jdk1.7.0_21/ export HBASE_MANAGES_ZK=false 　　4.修改hbase-site.xml,添加以下内容 <property> 　　<name>hbase.rootdir</nam

2018-02-28

6820

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态