0471-Oracle Goldengate实时复制Oracle数据到CDH Kafka

作者:Thomas Gu

1

Oracle Goldengate概述

Oracle Goldengate(以下简称OGG)是业界广泛使用的准实时数据复制软件,主要基于数据库日志进行变更数据的抽取,也就是我们常说的CDC(change data capture)的能力,Goldengate的优势主要体现支持各种异构环境下的数据复制,对生产库的影响最低(基于日志读取,非Sqoop这样直接查询数据的方式,同时可以支持remote capture)。

OGG的架构图如下:

1.1

兼容性列表

Goldengate能够支持源端数据抽取和目标数据投递的种类和平台非常的多,几乎涵盖了目前主流的各种数据平台。

源端

Oracle\MySQL\Mariadb\SQLServer\Sybase\DB2(LUW/i-Series/zOS)\JMS\Nonstop SQLMX\Informix等

目标端

除了上述之外,还可以支持Hadoop\File\Teradata\ MongoDB\Elasticsearch\Greenplum\Netezza\Cassandra等

云端

除了支持Oracle Cloud之外,还支持Amazon RDS、Amazon Kinessis、Amazon S3上的相关数据库和大数据的远程抽取和投递;

后续版本

支持PostgreSQL的抽取;支持Kudu的投递;

可以通过Oracle的官网链接来查询兼容性列表情况:

OGG 18C:https://www.oracle.com/technetwork/middleware/data-integration/goldengate-12-3-x-cert-matrix-3424388.xls
OGG 12.3: https://www.oracle.com/technetwork/middleware/ogg-18-1-0-0-0-cert-matrix-5172014.xls

因为OGG 18c版本最近刚发布,从兼容性列表来看,还没有发布支持Hadoop平台的For Bigdata版本,所以本文选择源端用OGG 18c版进行Oracle数据库数据的抽取,而目标用OGG 12.3 for Bigdata投递到CDH 5.14中。

OGG 18c兼容性列表中支持Oracle的版本:

OGG 12.3 For Bigdata支持CDH的版本:

可以支持向HDFS、Hive、HBase、Flume、Kafka进行复制,做为系列文章的第一篇,我们首先选择向Kafka进行复制。

1.2

下载介质

OGG下载链接:

https://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

源:

目标:

2

配置Oracle Goldengate

下面就开始Oracle Goldengate实现Oracle11204向CDH5.14 Kafka的数据复制链路

2.1

环境信息

源端

目标

数据库版本

Oracle11.2.0.4

CDH 5.14 (Apache 0.10.2)

操作系统

CentOS 7.4 6 4bit

CentOS 7.4 64bit

OGG版本

18.1

12.3.2.1

2.2

源端配置

1.数据库前提条件:

  • 调整数据库参数
alter system set enable_goldengate_replication=true scope=both;
  • 开启数据库附加日志和force logging
alter database add supplemental log data;
alter database force logging;

设置后,查询数据库最小附加日志已经打开:

  • 启用归档(测试环境可以不用,生产环境建议启用)
  • 创建用户

需要在Oracle数据中创建一个Goldengate,用于保存OGG的元数据信息,建议为该用户配置独立的数据表空间;同时该用户的权限请参考链接:

https://docs.oracle.com/en/middleware/goldengate/core/18.1/oracle-db/establishing-oracle-goldengate-credentials.html#GUID-8207BAB7-A2AB-46CE-B7B5-14E75B0FDDEB

这里我们简化,直接授权DBA角色给该用户:

  • 执行dbms_goldengate_auth.grant_admin_privilege
BEGIN
dbms_goldengate_auth.grant_admin_privilege(grantee => 'oggadmin',
privilege_type => 'CAPTURE',grant_select_privileges => TRUE,do_grants => TRUE);
END;
/
  • 配置数据库stream pool

OGG对oracle数据库的抽取模式有2种:classic模式和Integrated模式。从OGG 18c开始classic模式不再有新的发展,从支持层面Integrated模式比classic模式支持的对象类型更广,限制更少,同时可以支持部署远程抽取模式,所以我们后面用配置的是Integrated模式。

而Integrated模式是直接对接logmining server来获取数据的变化,是通过XStream接口接入的:

所以要配置数据库的stream pool size,如果不指定stream_pool_size的大小,默认是Oracle自动在SGA中分配的:

这里只有32M,在后续配置Integrated模式中在OGG抽取参数需要配置max_sga_size参数(如果不配置,默认是1GB)的值一个不注意就会有冲突,这里可以先调整streams_pool_size=512M,而可以设置max_sga_size为200MB,具体如何调整,这个我们后续的文章会解释。

2.源端OGG安装

可以支持GUI和静默安装,我们这里使用静默安装。

  • 解压
  • 配置oggcore.rsp文件

修改其中几个参数:

INSTALL_OPTION=ORA11g
SOFTWARE_LOCATION=/home/oracle/ogghome
INVENTORY_LOCATION=/home/oracle/ogghome/inventory
UNIX_GROUP_NAME=oinstall
  • 开始静默安装

注意:ogg的安装目录必须为空,所以创建一个新的目录:/home/oracle/ogghome

运行安装:

./runInstaller -silent -responseFile /home/oracle/oggsoftware/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp
  • 配置环境变量

Linux下设置:

  • 创建ogg相关目录

3.配置源端MGR进程

PORT 7809
DYNAMICPORTLIST 7810-7849
PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 3
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45

启动MGR进程:

4.配置credentialstore,使得用户的密码不是明文

add credentialstore
alter credentialstore add user oggadmin password oracle alias oggadmin
info credentialstore

5.配置源端抽取和传输进程(Integrated模式)

  • 查询源端数据库字符集(该步骤可选)

查询一下oracle字符集:

  • 增加要复制对象的附件日志

检查一下表的trandata是否enable:

  • 编辑源端抽取进程参数文件
extract exta
useridalias oggadmin 
setenv (ORACLE_HOME = /u01/app/oracle/product/11.2.0/dbhome_1)
setenv (ORACLE_SID = testdb1)
setenv (NLS_LANG = AMERICAN_AMERICA.AL32UTF8)
exttrail ./dirdat/st
discardfile ./dirrpt/exta.dsc,APPEND,MEGABYTES 100
tranlogoptions integratedparams (max_sga_size 200, parallelism 1)
reportcount every 1 minutes, rate
logallsupcols
ddl include mapped #这里启用ddl抽取,范围是mapped
TABLE scott.*;
  • 编辑源端传输进程参数文件
extract dpa
rmthost allinone.thomasgu.com mgrport 7809
rmttrail ./dirdat/rt
passthru
reportcount every 1 minutes, rate
table scott.*

Note:提前在/etc/hosts中配置好目标主机名的解析,或者直接用目标主机的ip也可以。

  • 创建抽取进程和传输进程
dblogin useridalias oggadmin
register extract exta database

add extract exta, integrated tranlog, begin now
add exttrail ./dirdat/st, extract exta, megabytes 100

add extract dpa, exttrailsource ./dirdat/st
add rmttrial ./dirdat/rt, extract dpa, megabytes 100
  • 启动源端抽取进程exta

检查状态,发现exta进程启动后,会stop掉

检查一下为什么会stop:

执行一下

GGSCI>view report exta

因为源库是11204版,没有打过任何的patch,所以这里需要apply一下p17030189_112040_Generic的patch

unzip p17030189_112040_Generic.zip
/u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory
cd 17030189
/u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch apply
/u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory

数据库中还需要运行:

$ sqlplus /nolog
SQL> CONNECT / AS SYSDBA
SQL> @?/sqlpatch/17030189/postinstall.sql

此时再启动抽取进程:

  • 启动源端传输进程
直接在GGSCI中执行:
GGSCI>start DPA

Note:要先保证目标OGG的MGR进程启动好之后,源端的传输进程才能运行正常,否则状态会stop,看report记录会提示连接不上目标的collector进程。

2.3

目标端配置

运行OGG For Bigdata需要JDK1.8的环境。

因为CDH 5.14安装默认使用了JDK1.7的包,所以我们部署采用了remote delivery的方式向Kafka进行投递,将OGG for Bigdata也安装在了Oracle所在的这台机器上,这样对CDH集群也是无侵入的,在生产环境这样的方式应该是更加合适的。

也就说现在OGG For Bigdata和OGG for Oracle安装在了同一台机器上。

所以这里需要注意:

(1)前面配置传输进程dpa就不用启动了,因为用不到了,目标OGG for bigdata进程直接读取OGG for oracle的抽取进程落地下来的队列文件(st作为前缀的文件);

(2)OGG for bigdata的MGR进程就不能使用和OGG for Oracle相同的端口号了,因为一台主机上是不能启动两个同样port的MGR的。

(3)正常情况,如果OGG for oracle和OGG for Bigdata不在同一台主机上,就按照前面配置的方式,目标MGR进程和源端MGR进程配置相同的port,dpa进程rmthost参数连接目标同样的MGR端口即可。

1.目标端安装JDK 1.8

vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_162
export JRE_HOME=/usr/java/jdk1.8.0_162/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

2.配置OGG For Bigdata

  • 解压OGG for bigdata到一个新的目录oggbigdatahome
unzip OGG_BigData_Linux_x64_12.3.2.1.1.zip -d oggbigdatahome 
cd oggbigdatahome
tar xvf OGG_BigData_Linux_x64_12.3.2.1.1.tar
  • 指定环境变量

执行for bigdata的ggsci的时候,会提示libjvm.so加载错误。

所以需要把libjvm.so文件也加入到环境变量LD_LIBRARY_PATH中,libjvm.so是在:

/usr/java/jdk1.8.0_162/jre/lib/amd64/server/目录下

然后再次执行ggsci:

  • 创建OGG for bigdata相关目录
  • 创建OGG for bigdata的MGR进程(注意前面的注意说明,因为把OGG for Bigdata和OGG for Oracle安装在同一台主机上,这里用了和源端MGR不一样的port)
PORT 8809
DYNAMICPORTLIST 8810-8849
PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 3
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45

启动MGR进程

  • 准备目标投递到Kafka的进程的相关文件

从OGG for Bigdata目录可以看出有两种Kafka的投递方法:

我们使用kafka这种方式,kafka_connect下一篇文章介绍:

在/home/oracle/oggbidatahome/dirprm下编辑上面的3个文件:

具体参数的含义可以查询OGG for Bigdata官方手册,这里只修改了几个必要的参数。

(1) rkafka.prm

(2) kafka.props

(3)custome_kafka_producer.properties

  • 复制cdh中的kafka jar文件到OGG for bigdata中定义的目录下

只需要一个jar包即可:kafka-clients-0.10.2-kafka-2.2.0.jar

  • 创建CDH kafka中的topic
/opt/cloudera/parcels/KAFKA-2.2.0-1.2.2.0.p0.68/lib/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic oggtopic1

这里设置2个partition是为了后面一些参数校验。

  • 创建目标端投递进程
add replicat rkafka, exttrail /home/oracle/ogghome/dirdat/st
注意:这里是读取的ogg for oracle的抽取进程落地的队列文件st,原因已经解释多次了。

到这里就完成源和目标的OGG配置,下面我们简单测试一下复制链路是否正常。

2.4

验证复制情况

源端提交一些sql语句,看是否能够复制到kafka topic中:

conn scott/oracle
insert into dept values(1,'A','SH');
insert into dept values(2,'B','SH');
insert into dept values(3,'C','SH');
insert into dept values(4,'D','SH');
insert into dept values(5,'E','SH');
insert into dept values(6,'F','SH');
insert into dept values(7,'G','SH');
insert into dept values(8,'H','SH');
insert into dept values(9,'I','SH');
insert into dept values(11,'J','SH');
commit;
  • 检查Kafka中消费端:

往后面拉一点:

上面是一个小的JAVA文件,用于监控消费端的信息,可以看到,已经消费到了10条消息,且按照partition基本是均匀分配的。在OGG for bigdata中有很多参数可以控制kafka分发消息的规则,后续文章我们也会简单介绍一下。

  • 从cloudera manager中检查

测试集群只启动了zookeeper和kafka:

当前kafka的版本:

Kafka的oggtopic1是有消息投递过来的:

  • 从OGG for Bigdata检查复制情况

明显有10条insert操作提交到kafka

3

总结

通过配置OGG for Oracle和OGG for bigdata,完成基于日志抽取方式将数据变更从Oracle复制到CDH Kafka,可以解决直接通过sqoop类似直接读取数据的手段对源库性能开销的问题,同时是准实时的抽取,延迟低,复制效率高。

后续我们会介绍如何使用OGG完成全量数据抽取到Kafka,以及相关参数配置,实现不同的partition分发策略,kerberos环境下的复制;以及到Hbase、Hive等的复制。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-12-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券