00:01
好,呃,那我们这个基本的这个就是需要用的这个主件呢,都把它装好了,装好以后呢,下面就是配一下他们两个怎么去配合工作哈,呃,那基本的思想就是你的MYSQ呢,这个是你的MYS对吧,它开启了blog,然后呢,现在我这个Maxwell呢,呃,我要去怎么去采集你的数据了。对吧,那我就是什么把这个Maxwell是不是伪装成它的重啊,同学们啊,伪装成重击啊,那这个怎么伪成成重击呢?这是这样子的啊,在买搜狗中呢,我们是要求你的重绩呢,在抄我这个日志的时候。对吧,你得有一个账号和密码啊,账号和密码,因为你你想去抄这个主机的这个数据啊,抄这个主机的数据。那你不得登录到主机里面吗?就相当于你得什么有一个账号,你登录进来,登录过来以后呢,你才能够去抄我的这个日记。能听懂吧,如果你都登录不过来,那你怎么去抄啊,你抄不了,所以说呢,我们就需要干嘛呢。我们需要给这个Maxwell啊,给Maxwell呢,给他什么呀,创建一个什么买so后中的一个什么账号和密码,然后将来我这个Maxwell呢,就会什么使用这个账号和密码,然后呢,到你的买货东西抄东西啊说你看啊,这里面有这么几步操作,第一步操作就create一个什么user啊create一个user叫什么呀,叫Maxwell,这是我的Maxwell的一个什么用户啊,就是我我把这个用户名我也叫成Maxwell了,能听懂吧。
01:23
然后后面是密码,密码的话也叫Maxwell。就相当于我在我的my soq中呢,我会什么创建一个什么账号和用户名和密码都叫什么,都都叫这个macel对吧,你直接把它拿过来哈,在你的这个my soq中去执行就可以了啊,当然现在我执行的话呢,肯定是不行的啊,因为我已经有这个用户了,对吧。看到了吧,啊,我已经有这个用户了啊,我看看这是呃,Create user field for Maxwell啊,就是我已经有这个用户了,大家可以跟着我去看哈,在这个,但你们如果说之前没有的话,你是可以执行成功的哈,来在这个MYSO,呃,在这个my soq里面啊,MYSOHO这个库里面。
02:02
呃,买仓货库里面,我们这个搜一下推宝丝,它里面有一个。表叫优色表啊DSC看一下这个user色表,这个优色表里面我们主要看这么几个东西啊,一个是你的host,一个是你的user色,然后呢,再看一个这个password啊,这是那个password啊,Select post,然后呢user,然后呢password,然后呢from这个user色表对吧,你看一下我是有这个macel这个用户的。对不对,这是那个用户的名字,然后后面是那个密码啊,因为他这个密码是呃,加密存储的啊,所以你看不到那个什么Maxwell。理解吧,啊,加密存储的啊,行,那这个用户有了以后呢,我们再来看下一步操作啊呃,下一步操作的话呢,这个先不看它啊,先不看它啊,先不看它,我们先来看这个。啊,先来看这个,呃,这个是什么操作呢?这个是这样子的,就是你给这个Maxwell呢,创建了一个账号,也叫这个Maxwell,对吧,但是你这个账户啊,你能干什么事。
03:00
因为在买soq中它是有权限的,对吧,就你的每个账户呢,它都是有权限的,你能干什么事,你干不了什么事,所以说呢,我们就需要告诉这个MYSQL啊,我现在创建的这个maxwelll这个账户呢,他能干什么事,说是这一步应该是在授权,就授权什么查呀,什么副本同步啊等等一些给谁呀,给这个mal这个人这个用户。好,把我们所有库的所有表的这些权限都授权给这个用户。理解了吧,这样的话呢,将来你的这个maxwelll呢,呃,就是你的这个maxwelll这个这个这个框架啊,然后呢,通过这个账户呢,到你这个MY中去干嘛呀,查或者这个抄这个抄日志的时候啊,你才能什么正常的去抄,如果说我不给你权限,你是抄不了的。对吧,说说你需要什么,把这个呢,再去执行一下啊,当然其实我不执行也可以了啊,因为我都有了,对吧。对吧,那我执行一下也可以。OK吧,好,然后中间的这一步的话呢,其实不应该放到这儿哈,它应该放到什么地方,它应该放到这个后面啊,放到后面这一步操作,来我跟大家去说一下啊,呃,那我们这里面还有一个问题,大家去想想啊,你说我这个Maxwell对吧,他将来去什么呀?去这个抄这个MYSO的时候啊,我把这个图拿过来看吧。
04:16
呃。再截个图啊。这样好说一点啊。好,大家听我说,听我说啊,诶你说我这个Maxwell哈,将来我去抄你这个买骚的时候,抄这个blog的时候。那我不不可能是一直抄吧,对吧,我可能抄一会儿我歇一会儿,抄一会儿我歇一会儿。对不对,比如说还有可能就是我这个Maxwell的这个,因为一些故障了,我这个停掉了,停掉以后我要怎么去做重启,好,那我们就要想这个Maxwell它是怎么记录。我抄到了什么位置,对吧,假如说我故障以后呢,我下一次应该从什么地方开始接着去抄。对不对,你想想这个事情他怎么去记录的呀。
05:01
他得去维护吧,如果你不维护的话,比如说你抄到一半,然后你这个故障了,你要重新启动起来以后呢,诶你不知道从哪开始接着超了,你要说从头抄吧,那你抄到了重复数据了。你要说不从这抄吧,你从尾巴上抄吧,那有些数据你抄不到。都不合适吧?所以说呢,这个Maxwell啊,它是要求我们在你的my soq中呢,去给他创建一个库的。啊,给它创建一个库,然后呢,这个库里面呢,将来Maxwell呢,它是会自动的往它里面去记录一些什么原数据信息的,比如说啊,它会什么呀,把这个b log同步的什么断点位置等等一些原数据信息呢,会自己的记录到这个库里面的啊因此的话呢,我们是需要在你的my Soo中呢,还得有这么一个库啊。就是叫Maxwell尔这个库,这个库是给谁用的呢?就是给Maxwell尔这个人啊,给给Maxwell这个什么,呃,这个这个主将去使用的,它会自动到你的买soq里面去做记录的理解吧,好,那你既然有了这个库以后呢,那你想想哈,将来我的Maxwell它是怎么去登录买SOHO的呀。
06:06
我们是不是给他分配了这么一个用户啊,所以说啊,你还得单独的什么呀,把Maxwell这个库下面所有的,呃,这个这个库下面所有的表的所有的权限都交给这个macel这个用户,因为他要去操作你的MY搜狗L,然后呢去记录原数据啊,所以说我们还有一个授权的过程,就是把这个权限也给大家全部都授权过去。理解吧,啊,这个是授权什么呀,这个是授权他去做做什么做组成复制的,这个是授权什么,授权他自己去记录什么原数据信息的。OK吧,这两个事你要知道啊,就是应该这么去做就合适了啊,把它拿到这个下面对吧,这么去做就比较合适了。就是你先创建一个库,然后呢,我再去做一个授权。好吧,啊,这样就比较合适了啊。行呃,那把这个都做好以后,那当然这个我都是做过的哈,如果你想做来,我再带你去做一次啊,对吧,做好了以后呢,接下来干嘛呢,我们就要去改你的Maxwell的配置文件了,那这个时候我们就回到这个Maxwell中啊,他自己的话呢,还得去配一些东西啊。
07:13
好,那回到这个o BT module Maxwell里面啊,错了啊好,呃,进来以后呢,我们改这个文件啊,同学们,它默认情况下这个文件的话呢,不叫这个这个名字啊,它是有一个后缀的,对吧,有一个这个后缀的,那么我们需要把这个后缀的给它干掉,我们就叫这个名字了,对吧,就叫这个conflict,然后接下来到它里面去改东西。叫config讲好进来以后啊,我先来到第一行,好,那这里面我们加什么东西呢?其实我们就加这么些个东西就够了哈,就加这么些个东西。OK吧,来说一下吧,我们挨个去说啊呃,首先第一个这个producer表示什么呀,这个producer表示的就是我将来的数据呢。
08:03
要往哪里发就说白了啊,你这个Maxwell抄到了这个日志对吧,抄到了日记你要发给谁。对吧,我们配的是卡不卡,那么他就会把数据呢,发给这个卡不卡。好,然后再一个就是你说你要发给卡不卡,那你说我的这个mace他得不得知道你的卡不卡在哪里呀。对吧,他得知道,所以说呢,我们需要去写你卡不卡的一个地址。能不能看明白,好,然后再往下,这个是什么意思啊,这个是你说你的Maxwell要到它里面去什么呀。去干嘛呀,去抄。对吧,去抄,那我就得知道你的MYSO在哪吧,如果说你都连这个人你都找不着,你怎么去抄人家的日记呢?所以说你看啊,MYSO的host你在哪个机器里面,你要告诉他你抄人家的时候呢,我不是给他分配过一个什么用户密和密码的吗?你把那个用户密密码给我放到这,那么Maxwell呢,就会什么使用这个用户密和密码,然后呢,去到买S或者戏抄日记啊,说这两个就一个是连左边用的,一个是连右边用的。
09:02
这个很直观的吧。对吧,很清楚很直观啊行,然后别的东西呢,我看看啊,别的东西还有一个就是这个这个是JDBC的一些选项啊,你就什么直接把它什么从这个文档中复制过来就OK了啊,就这个这个选项直接复制过来放到那就OK了,好吧,那还有一个就是比较关键的,你说我把数据抄过来以后呢,我要发给卡不卡,现在我知道卡不卡在哪了,但是你还没有告诉我发给卡不卡的哪个。Topic说你往下走,我们有一个topic的配置。Topic来再往后啊,马上到了。呃,卡夫卡就在这对吧,它那边有一个什么卡夫卡topic,那你得去配一下,你要把你的消息呢,发到发给谁好,那这个时候我们还得再去看一下那个图啊,我的那个图在哪来着,在这。你看了哈,你还得看一下这个图,我们正常是不是把你的数据啊,通过这个max监控到以后,我先把它发给卡夫卡的一个统一的一个topic对不对。
10:02
就说白了,你还是什么原始数据,你就什么先扔到一个统一的topic里面,然后呢,我再次去做这个分流操作啊,因此这个地方我写的就是一个统一的topic啊,那我们就叫这个来改一改啊。我们日志数据是叫什么叫贝斯lo,那我这个我就叫什么呀,我就叫贝斯DB了啊,比如说1018。对吧,就先发到一个统一的topic里面,然后呢,我再次去做这个分流操作。OK,好行,那把这个改完,改完以后别的配置我们现在就先不用再去配了啊,保存一下退出。好,这就搞定了。能听懂吧,来看这个文档哈,就是你到这一步以后呢,你就都把它搞定了,搞定以后接下来呢,你就可以测试一下你这个Maxwell到底能不能工作,对吧?来那我们就测试一下啊,怎么测呢。先把Maxwell启动起来,怎么起啊,它B里面呢,有一个啊,B里面有个脚本叫这个Maxwell啊,这个我就直接用吧哈,并下面有个Maxwell好,然后呢,杠杠卡我们要指定一下你的配置文件对吧,就指定你这个目录下面的有个配置文件,是刚刚我们改的那个配置文件哈,然后呢,杠刚DEMO就是告诉他你在后台启动。
11:16
对吧,当然呢,大家也可以什么呀,把它们写成一个这个脚本啊,对吧,写成脚本啊,OK,来回车。好起来以后呢,你这个GPS你查看一下,你是能够看到这个maxwelll这个进程的,好那么当你看到这个进程以后,那接下来就相当于他已经就绪了,他就绪以后,我们是不是可以往你的my soq中去做数据的更改,比如说我给你生成一波数据。对吧,生成一波数据,然后呢,生成这一波数据以后呢,MYSQ里面有了数据的更改了,它就会记录到这个b log里面,Maxwell就会采集到,采集到就会发送到你的卡夫卡,那我是不是就可以考虑开启一个消费者,我去消费一下你的消息啊。对吧,手机下来我要开启一个消费者啊Kf.SH叫KC,那我消费的是ods叫贝斯DB1018,是不是刚刚写的那个。
12:11
没毛病吧,来小北他啊好,来这个接下来的话我们就去生成数据了,那我们生成数据的话,那我需要去说一下啊。我们这个日志数据对吧,我是用的是叫什么applo。对不对啊,这里面放的是我这个日志数据的这个生成器,然后呢,我的dblo里面放的是我的业务数据的这个生成器,来我们过来dblo,然后呢吧,它呢也是有一个炸包,然后呢有一个配置文件,那我们直接什么执行这个Java。杠炸对吧,然后呢叫gmail这就OK了。能听懂吧,啊,那我现在执行一下,先做一个基本的测试啊,走起。好,等它生成数据,然后我们看这个位置能不能消费到数据啊。
13:03
嗯。好像没消费到是吧。那如果说没有消费到数据的话,就有点问题了呀。对吧,这个没消费到数据是不是,呃,那没消费到数据的话,我们看一看啊。我没有写错吧,Ods贝斯DB1018,来我确认一下是哪里写错了啊,肯定是有个环节肯定有问题了哈,来我找找吧,呃,先去定位Maxwell啊,先定位它。呃。啊,我没回车呀,哦。这个行吧。行吧行吧行吧,没回车是吧,刚刚这个解释东西忘了回车了,那我重来一下吧,重来一下,重来一下,哎呀,这闹的是吧,逼逼唠叨啊。
14:00
加把个炸好。刚忘回车了哈,这一个回车你看多多多多宝贵啊。好,那你看这个有有动静了是不是啊,有动静了啊,刚刚就忘回车了哈,行吧,大家看看吧,这就是我们这个生成的数据啊,我是能够什么正常的通过Maxwell。采集到什么,采集到你这个卡不卡中的啊,只不过当前的话我们还没有写这个哈,我们只是什么起了一个消费者呢,单独从他里面去消费的数据。对吧,那下一步的话呢,我们不就可以了。通过我们的star stream,然后呢从它里面去消费数据,然后呢,做后续的这个分流工作了吗。对吧,所以说到目前为止,我们就把采集的工作给它完成了。OK吧,采集工作完成了啊,好行,呃,那我们就先说到这儿啊。
我来说两句