基于腾讯云EMR中的Hbase开发对接流程应用概述

HBase简介

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。

HBase使用场景有如下几个特点：

• 处理海量数据（TB或PB级别以上）。
• 具有高吞吐量
• 在海量数据中实现高效的随机读取。
• 具有很好的伸缩能力。
• 能够同时处理结构化和非结构化的数据。
• 不需要完全拥有传统关系型数据库所具备的ACID特性。ACID特性指原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation，又称独立性）、持久性（Durability）。
• HBase中的表具有如下特点：
  • 大：一个表可以有上亿行，上百万列。
  • 面向列：面向列（族）的存储和权限控制，列（族）独立检索。
  • 稀疏：对于为空（null）的列，并不占用存储空间，因此，表可以设计的非常稀疏。

• 选择Windows开发环境下，安装Eclipse，安装JDK。

请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本，并安装JUnit插件。

说明：
若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。
若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。
不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
准备一个应用程序运行测试的Linux环境。

准备运行调测环境

1. 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于应用开发、运行、调测。
   • 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
   • 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
   • 弹性云服务器的网卡需要与MRS集群在同一个网段中。
2. 申请弹性IP，绑定新申请的ECS的IP，并配置安全组出入规则。
3. 下载客户端程序
4. 登录存放下载的客户端的节点，再安装客户端。

执行以下命令解压客户端包：cd /opt
tar -xvf /opt/MRS_Services_Client.tar
执行以下命令校验安装文件包：sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256MRS_Services_ClientConfig.tar:OK

执行以下命令解压安装文件包：tar -xvf /opt/MRS_Services_ClientConfig.tar
执行如下命令安装客户端到指定目录（绝对路径），例如“/opt/client”。目录会自动创建。cd /opt/MRS_Services_ClientConfig
sh install.sh /opt/client
Components client installation is complete.