00:00
接下来我们看一下data差的一个导入导出案例啊呃。从支持的数据源里面,我们在这里并没有看到DB two啊,没有像my sole Oracle这种单独拎出来,但是我们有一个什么通用的RDBMS。就是说只要你是关系型数据库啊,都可以通过这个来写,它有个通用的读跟写都可以,我们看一下读,其实跟买搜狗那个大差不差的,我们看一下读啊,它的名字就叫RDB。MS,那么它像这种数据库肯定要用户名跟密码,另外指定一些列,还有呢,呃,这个切分件跟MYSQL是一样的,还有这个。连接选连接参数嘛,首先要同步哪些表,还有它的JDBC的URL是什么,这个都一样啊。
01:00
T size一次性抓取几条数据,还有过滤条件,那么从这我们可以看到基本上跟my circle没有太大的出入啊,虽然它没有单独拎一个DB two啊,但也是可以支持的啊,那这边下面呃也告诉我们如何来增加咱们。数据库的支持,并且它你看这里是不是给到DB two的格式啊。JDBC就这么写,JDBC冒号DB two。IP端口数据库啊,跟MYSQ写法基本一样啊,另外他也要求我们怎么增加新数据库的支持,对吧。我们需要在reader。你看它这里写错了啊,大家可以去提交一个贡献啊,可以变成贡献者啊,指出他的错误,前面read,后面变成writer啊,这个这个肯定是写错了,好应该想写reader啊,你看它默认只有这三个啊,啊不是默认呢,是没有这个DB two的,那我们只要把DB two把它加进来就可以了啊,就它有一个默认的配置模板啊,一些驱动类在这里定义好了。
02:11
那如果。你还得去看一下他们LIS目录下面有没有对应的数据库驱动,比如说DB two呢,它是通过这个DB two jcc4。这个炸包,那因为它已经有了,所以咱们这个炸包不用重新提交了啊,那如果你是其他的关系型数据库,而且呢,对塔插他又没有提供相应依赖,你要自己呢,把依赖丢进来啊。就这么一回事,瑞跟writer是一样的啊。你回过头再看一下,写也是这么几个过程,主要我们参考MY的写法,就一切都OK了。嗯,有点卡啊,那我们不管了,那咱们可以看到咱们的文档啊,那这边呢,具体的路径我也给到大家了啊。
03:03
来我们直接进来操作,我拷贝一下这个类名就可以了啊。OBD model data塔叉对吧,我们先进到这个目录,那我们看到这里有一个plug啊CD plug进来之后,我们知道有一个reader,有一个writer,我们分别添加就行了,先进到reader里面呢。有这么多个,其中有一个就是咱们的RDBMS。RDBMS进来之后啊,那需要我们做的地方就两个,第一个改它,第二个加依赖,就两件事啊,你就记住两件事就行了,嗯,那第一个呢,我们先注册一个驱动类,修改plug的Jason。那么可以看到它有一个什么名字,还有他们的一些类啊,这个类呢,是对塔差的入口啊。那这里有个drivers。
04:01
啊,就是把咱们driver的全类名把它拷进来,那我们在这也能看到,这里并没有DB two对吧,那我们。你随便找个位置,反正它是一个数组,我在后面添加一个逗号,哎呀考错误了。餐厅啊,那这就没问题了吧,把这个新增进来了啊。DB two的一个驱动内,那就可以了,保存退出,这是第一件事,第二件事看一下依赖路径,那么这里呢,大家可以看到这里有一个什么。DB two gcc4啊,那这个呢,就是咱们需要的依赖,那么如果你,嗯,但这个我也没这个的驱动版本可能会老了,那如果老了咱们也可以把它替换掉,我们一会先跑一下试一下啊。因为它是一七年的啊,咱们那个1.5的版本应该是比较新的,应该是二零年的啊,我在官网也下过一些依赖,不行我就直接替换啊,没事先不替换,呃,接下来我们改一下writer啊,还是在P目录下面我们进入这个writer。
05:21
嗯,找到RDBMS。Writer。好,还是两件事,第一个注册驱动修改点T,呃,可以看到这边drivers还是只有三个,对吧,我们自己给他加一个。哎呀,我去拷贝一下这个名字粘贴啊,把名字拷进来,那同样的我们可以到LIS里边瞅一瞅,它也是有DB two的啊,没事,有就有呗,那我们接下来回退到贝塔它的主目录,开始编写一个配置文件。
06:03
那配置文件模板我们刚才在官网看了,呃,我们先来一个DB two到HDFS。那这边我也给到了一个案例啊,这边是我准备好的。来,我们看一下。首先这个reader不能叫DB two reader了,叫r dbms reader好,那其他参数跟买车口大差不差的,那这些是根据我的配置写的啊,首先第一个呃,这个列名。ID name啊,还记得咱们当时写的是大写对吧啊。那具体的连接。JDBC啊,就按照这个来,呃,我是装在哈二默认端口,它是5万啊,那数据库我用的是,呃,咱们用命令建的那个采样库啊,你用create database去创建也可以啊,那表呢是叫student,我当时也是写的大写对吧?好,那这边用户名密码要注意了,咱们是不是有创建过两个用户啊,一个叫实力啊所有者,一个叫。
07:15
啊,有什么什么保护策略的,对吧,咱们用的就是那个实例对吧,Instance缩写在这呢啊。密码我设的是艾特硅谷啊,所以其实咱们用电脑叉有个风险,就是假设咱们的配置文件被别人拿到的话,他可能就看得见咱们的。账号密码啊,这一点安全性还是不够啊。那hdfs writer这个老生常谈的不用多提,还是两个字段对应类型要写啊,呃,地址修改。8020,因为我这边都直来直接拷贝的,前面的啊也没做没做修改,呃,分格服务咱们来个什么呢。
08:03
来个杠吧,好吧。呃,DB two.tst好,追加可以,呃,通道1OK,那这个就完事了呀,那接下来咱们干嘛呢?并date差点PY,呃,不对,我要先创建啊job,呃,叫什么呢?叫DB two two,那就DFs.JA。因为这有两个兔二嘛。哎呀。粘贴好保存,我们尝试来执行一下,看一下它的驱动会不会太老啊。执行。已经结束了啊,已经结束了,那说明那个驱动还是可以用的啊。我们看一下咱们的HDFS。
09:07
哦。这个是因为我当时有一个节点是关机重启了,不管了,看他能不能用啊。DB two.tst,看到了吧?这个说明是写进来的,我们看一下数据。幺幺杠零四,这不就是咱们在DB two里面加的一个数据嘛,对吧,OK。那这个就没问题了。那么还有呢?咱们再写到my circle啊,其实这个就没什么好讲的,我们直接看配置吧。大家会发现我的案例都是某个数据库往HDFS,往my circle去导啊,其实都可以的啊,我只是为了方便啊,你往Oracle导,往circle circle导往呃。
10:01
Oracle my circle等等等等都可以啊,哪个读哪个写,只要它支持都行啊,参数都差不多。来,我们还是改一下啊,呃,还是r dbms reader,然后这个呢,JDBC没毛病,Student DB two用户密码也没问题,对吧,是咱们创建的那个新建的用户名跟密码,呃,My circlel writer这边写个新也没什么大问题啊,JDBC地址改一下哈,杜一表student,呃,用户名密码。呃,写模式用insert好了,这个就OK了啊。你看这其实很快,你写多了会发现。就模式套路都差不多。虽然是杰森不好。看起来很长,但其实你真正要自己改的,自己敲的不多。我们新建一个就吧,呃,DB two two my circle.jason。
11:09
好,接下来呢。我们直接执行job DB two-two my.jason呃,这个的话咱们先来看一看啊,目前数据是这样的啊。这张表里面。火车。好,写完了,写了一条啊,失败为零,我们再查一下呗。是不是可以幺幺李四进来了,没毛病吧,对吧,也都是支持的。那这个咱们。也演示过各种各样的数据库了,那么大家感兴趣的话可以随意排列组合,就谁读谁写都可以啊,都可以,大家可以尝试着继续去玩一玩。
12:09
嗯。
我来说两句