常见问题

最近更新时间:2019-04-15 11:56:24

hbase 在 shell 里设置了 switch_balance true,但是 hmaster 并没有进行loadbalance?

hmaster 进行重 loadbalance 的条件是:整个集群的负载最小值小于是在平均负载 × 0.8,最大负载大于平均负载 × 1.2才会平衡,设置 balance 参数只是把自动平衡打开,只有符合这条件 hmaster 才会进行自动平衡。

在用户 CVM 上设置了 hbase 访问参数后却连不通 hbase 服务?

在设置完 hbase 相关参数后,还需要设置参数 config.setBoolean("chbase.tencent.enable", true);,并用腾讯云提供的 jarhbase-client-1.1.3.jar、hbase-common-1.1.3.jar、hbase-server-1.1.3.jar、hbase-protocol-1.1.3.jar 替换社区版的 jar。

开通 hbase 服务后,如何通过 hbase shell 访问 hbase 服务?

下载腾讯提供的 hbase 版本 hbase-1.1.3-bin.tar.gz,然后修改 conf 下的 hbase-site.xml,添加如下配置项目:

如果我想运行基于 YARN 的 MR 任务该如何处理?

示例代码



public class MR {

     public static void main(String[] args) throws Exception{
     // TODO Auto-generated method stub
        Job job =Job.getInstance();
        Configuration conf=job.getConfiguration();
        conf.set("hbase.zookeeper.quorum", "腾讯云提供的ZK地址");
        conf.set("yarn.chbase.tencent.instanceid", "腾讯云提供的实例ID");
        job.setJobName("testjob");
        String tableName = "tablename";

        Scan scan = new Scan();
        scan.setStartRow(Bytes.toBytes("0800:00_00000000"));
        scan.setCaching(500);
        scan.setCacheBlocks(false);

        job.setJarByClass(MR.class);
        job.setReducerClass(Reduce.class);
        job.setOutputFormatClass(NullOutputFormat.class);
        job.setNumReduceTasks(5);
        //job.addFileToClassPath(JobHelper.addJarToDistributedCache(GenericObjectPoolConfig.class, conf));

        TableMapReduceUtil.initTableMapperJob(tableName, scan, Mapper.class, Text.class, Text.class, job);
        boolean b = job.waitForCompletion(true);
        if (!b) {
        throw new Exception("error with job!");
        }
    }
}

hadoop 版本为 2.6.4,并用腾讯云提供的 jar 替换社区版的 jar,如下:

  • hadoop-mapreduce-client-app-2.6.4.jar
  • hadoop-mapreduce-client-common-2.6.4.jar
  • hadoop-mapreduce-client-core-2.6.4.jar
  • hadoop-mapreduce-client-jobclient-2.6.4.jar

如果使用 spring-hbase, guava 引起找不到类错误?

hbase 默认使用 guava12 ,而 spring-hbase 使用的是 guava18,强制指定 guava 版本为12即可。

如何查看系统监控?

登录 qcloud 后,通过管理中心进入控制台,即可看见自己的集群,单击详情就可以看见系统监控,公测后该功能会放在主站导航。

如何使用 hbase 自带的协处理器?