如何使用StreamSets实现MySQL中变化数据实时写入HBase

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在前面Fayson介绍了《如何在CDH中安装和使用StreamSets》、《如何使用StreamSets从MySQL增量更新数据到Hive》以及《如何使用StreamSets实现MySQL中变化数据实时写入Kudu》,本篇文章Fayson主要介绍如何使用StreamSets实现MySQL中变化数据实时写入HBase。

StreamSets实现的流程如下:

  • 内容概述

1.环境准备

2.创建StreamSets的Pipeline流程

3.Pipeline流程测试

4.总结

  • 测试环境

1.StreamSets版本为3.3.0

2.CM和CDH版本为5.12.1

3.MariaDB版本为5.5.56

2.环境准备


1.开启MariaDB的Binlog日志

修改/etc/my.conf文件,在配置文件[mysqld]下增加如下配置

server-id=1
log-bin=mysql-bin
binlog_format=ROW

(可左右滑动)

注意:MySQL Binlog支持多种数据更新格式包括Row、Statement和mix(Row和Statement的混合),这里建议使用Row模式的Binlog格式,可以更加方便s实时的反应行级别的数据变化。

修改完MariaDB的配置后重启服务。

[root@cdh01 ~]# systemctl restart mariadb
[root@cdh01 ~]# systemctl status mariadb

(可左右滑动)

使用root用户登录MariaDB创建同步账号

GRANT ALL on slave_cdc.* to 'slave_cdc'@'%' identified by '123456';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'slave_cdc'@'%';
FLUSH PRIVILEGES;

(可左右滑动)

2.StreamSets安装MySQL驱动

将MySQL的JDBC驱动拷贝至

/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/streamsets-libs/streamsets-datacollector-mysql-binlog-lib/lib目录

3.在MariaDB数据库中创建测试表

create database mysqlcdc;
create table cdc_hbase (
  id int,
  name varchar(32),
  age int
);

(可左右滑动)

4.在HBase命令行执行如下命令创建一个HBase的表

create 'cdc_test','info'

(可左右滑动)

3.创建StreamSets的Pipline


1.登录StreamSets,创建一个新的Pipline

2.选择Origins类别,搜索MySQL Binary Log

配置MySQL Binary Log

配置MySQL信息

配置同步账号信息

高级配置,根据自己的需要进行配置

到此MySQL Binary Log的配置完成。

3.添加表过滤的Stream Selector,这里添加一个“Stream Selector”主要是用于过滤我们需要处理的表

Stream Selector基本配置

配置分流条件

4.添加一个回收站用于处理“Stream Selector”中“default”类型的数据

5.添加HBase模块处理“Stream Selector”模块的cdc_hbase的日志

配置HBase

6.流程创建完成后,启动该检查该Pipelines是否正确

7.启动mysql-cdc2hbase

4.Pipeline流程测试


1.登录MariaDB数据库,向cdc_test表中插入数据

insert into cdc_hbase values(1, 'fayson',21);

(可左右滑动)

可以看到HBase成功的处理了一条数据,使用Hue查看HBase的cdc_test表数据

数据成功的插入到HBase的cdc_test表中。

2.登录MariaDB数据库修改cdc_hbase表中数据

update cdc_hbase set name='fayson-update' where id=1;

(可左右滑动)

查看StreamSets的Pipeline实时状态

使用Hue查看HBase的cdc_test表

3.登录MariaDB数据库删除cdc_hbase表中数据

delete from cdc_hbase;

(可左右滑动)

查看StreamSets的Pipeline实时状态

可以看到HBase未成功处理删除操作的MySQL Binary Log日志,通过Hue查看HBase的cdc_test表数据,由于HBase模块没有成功处理删除操作,所以cdc_test表测数据未删除。

5.总结


1.实现MySQL CDC的前提是需要开启MySQL的Binary Log日志,并且需要创建复制账号,SreamSets中MySQL-Binary Log实际充当的为MySQL的一个Slave。

2.向HBase实时写入数据的前提是HBase的表已存在,否则无法正常写入数据。

3.在向HBase表中写入实时的MySQL的Binary Log日志,对于Insert和Update类型的数据可以正常的插入和更新,但对于Delete类型的数据目前HBase模块无法处理,需要做额外的处理,在后面的文章Fayson会介绍如何处理。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何迁移Cloudera Manager节点

本文档讲述如何将Cloudera Manager在Kerberos环境下迁移至新的CM节点。通过本文档,您将学习到以下知识:

94160
来自专栏Hadoop实操

4. 如何为Hive配置OpenLDAP认证

在前面的文章Fayson讲了《1.如何在CentOS6.5安装OpenLDAP并配置客户端》、《2.OpenLDAP集成SSH登录并使用SSSD同步用户》以及《...

82350
来自专栏刘远的专栏

airflow—服务失效监控(5)

因为DAG文件会在调度器和worker执行时加载,如果在DAG中引用了第三方的库或进行了DB操作,则这些操作会在DAG文件加载时被频繁调用。举个例子,如果升级了...

38930
来自专栏about云

Hadoop HTTP web-consoles认证机制

问题导读 1.如何配置 Hadoop HTTP web-consoles 所需要的用户身份验证? 2.哪个配置文件可以配置 Hadoop HTTP认证? 3....

40160
来自专栏码字搬砖

Impala原理、使用

简介: impala属于Cloudera,基于内存的,可用户实时的交互式查询。Cloudera建议Impala集群内存最少128G,Impalad与Data...

41030
来自专栏Hadoop实操

如何禁用CDH集群Kerberos

86360
来自专栏Jed的技术阶梯

Hadoop高可用(HA)集群搭建

HA:High Available,高可用 在Hadoop 2.0之前,在HDFS集群中NameNode存在单点故障 (SPOF:A Single Point...

89320
来自专栏Hadoop实操

如何为Kerberos环境的CDH集群在线扩容数据节点

Hadoop集群其中一个优点就是可伸缩性(横向扩展),通过增加计算节点使服务容量产生线性增长的能力。可伸缩的应用程序的主要特点是:只需要增加资源,而不需要对应用...

69080
来自专栏岑玉海

Spark部署

  Spark的部署让人有点儿困惑,有些需要注意的事项,本来我已经装成功了YARN模式的,但是发现了一些问题,出现错误看日志信息,完全看不懂那个错误信息,所以才...

39540
来自专栏Hadoop实操

如何在Hue中使用Sentry

3.集群已安装Sentry服务,已和HDFS/Hive/Impala/Hue服务集成

1.4K70

扫码关注云+社区

领取腾讯云代金券