如何使用StreamSets实现MySQL中变化数据实时写入HBase

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

Fayson的github： https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

在前面Fayson介绍了《如何在CDH中安装和使用StreamSets》、《如何使用StreamSets从MySQL增量更新数据到Hive》以及《如何使用StreamSets实现MySQL中变化数据实时写入Kudu》，本篇文章Fayson主要介绍如何使用StreamSets实现MySQL中变化数据实时写入HBase。

StreamSets实现的流程如下：

• 内容概述

1.环境准备

2.创建StreamSets的Pipeline流程

3.Pipeline流程测试

4.总结

• 测试环境

1.StreamSets版本为3.3.0

2.CM和CDH版本为5.12.1

3.MariaDB版本为5.5.56

2.环境准备

1.开启MariaDB的Binlog日志

修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置

server-id=1
log-bin=mysql-bin
binlog_format=ROW

（可左右滑动）

注意：MySQL Binlog支持多种数据更新格式包括Row、Statement和mix（Row和Statement的混合），这里建议使用Row模式的Binlog格式，可以更加方便s实时的反应行级别的数据变化。

修改完MariaDB的配置后重启服务。

[root@cdh01 ~]# systemctl restart mariadb
[root@cdh01 ~]# systemctl status mariadb

（可左右滑动）

使用root用户登录MariaDB创建同步账号

GRANT ALL on slave_cdc.* to 'slave_cdc'@'%' identified by '123456';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'slave_cdc'@'%';
FLUSH PRIVILEGES;

（可左右滑动）

2.StreamSets安装MySQL驱动

将MySQL的JDBC驱动拷贝至

/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/streamsets-libs/streamsets-datacollector-mysql-binlog-lib/lib目录

3.在MariaDB数据库中创建测试表

create database mysqlcdc;
create table cdc_hbase (
  id int,
  name varchar(32),
  age int
);

（可左右滑动）

4.在HBase命令行执行如下命令创建一个HBase的表

create 'cdc_test','info'

（可左右滑动）

3.创建StreamSets的Pipline

1.登录StreamSets，创建一个新的Pipline

2.选择Origins类别，搜索MySQL Binary Log

配置MySQL Binary Log

配置MySQL信息

配置同步账号信息

高级配置，根据自己的需要进行配置

到此MySQL Binary Log的配置完成。

3.添加表过滤的Stream Selector，这里添加一个“Stream Selector”主要是用于过滤我们需要处理的表

Stream Selector基本配置

配置分流条件

4.添加一个回收站用于处理“Stream Selector”中“default”类型的数据

5.添加HBase模块处理“Stream Selector”模块的cdc_hbase的日志

配置HBase

6.流程创建完成后，启动该检查该Pipelines是否正确

7.启动mysql-cdc2hbase

4.Pipeline流程测试

1.登录MariaDB数据库，向cdc_test表中插入数据

insert into cdc_hbase values(1, 'fayson',21);

（可左右滑动）

可以看到HBase成功的处理了一条数据，使用Hue查看HBase的cdc_test表数据

数据成功的插入到HBase的cdc_test表中。

2.登录MariaDB数据库修改cdc_hbase表中数据

update cdc_hbase set name='fayson-update' where id=1;

（可左右滑动）

查看StreamSets的Pipeline实时状态

使用Hue查看HBase的cdc_test表

3.登录MariaDB数据库删除cdc_hbase表中数据

delete from cdc_hbase;

（可左右滑动）

查看StreamSets的Pipeline实时状态

可以看到HBase未成功处理删除操作的MySQL Binary Log日志，通过Hue查看HBase的cdc_test表数据，由于HBase模块没有成功处理删除操作，所以cdc_test表测数据未删除。

5.总结

1.实现MySQL CDC的前提是需要开启MySQL的Binary Log日志，并且需要创建复制账号，SreamSets中MySQL-Binary Log实际充当的为MySQL的一个Slave。

2.向HBase实时写入数据的前提是HBase的表已存在，否则无法正常写入数据。

3.在向HBase表中写入实时的MySQL的Binary Log日志，对于Insert和Update类型的数据可以正常的插入和更新，但对于Delete类型的数据目前HBase模块无法处理，需要做额外的处理，在后面的文章Fayson会介绍如何处理。

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操