00:00
呃,咱们要做这个测试呢,那我们来想一想整个的数据流啊,我们要开的东西对吧?啊,我们要去开一些进程啊好,那我们从两个方向啊,第一个数据流啊,我们从数据流去分析它是什么样子的,然后接下来呢,我们从要开的程序啊,这程序呢就分为两块,一个呢就是我们idea里边,另外一个就是。Linux上我们要开哪些服务对吧?好,那数据流呢,那我们所写的是web或者APP,它呢,发送数据到哪请求到NX了,就是我们从架构的角度来说,虽然我们没搭NX,但是呢,我们把这个写上啊,然后呢,NX负载均衡到我们的叫业务服务器,对吧?而由业务服务器呢,它会将数据写到自己的MY搜狗。MYSO呢,我们对于这个数据库呢,开启了b log对吧?好,那接下来呢。
01:02
有。Maxwell去加载我们的业务数据啊,Maxwell加载我们数据,嗯,给它放到了。卡夫卡对吧,Excel将数据写到卡夫卡,那这边呢,是我们的ods层啊,那接下来呢,由我们当前这个程序对吧,那它是一个flink APP消费这个。Ods叫topic DB这个主题的数据,把数据往哪写?往Phoenix写吧,对吧,啊,数据写到Phoenix啊,这是我们整个的数据流,它是这样子的啊,那接下来我们要开的程序呢,对吧,这个东西啊,整体用了谁来代替的。这个整体。对吧,我们并没有真正就搭那个什么web,也没有APP,也没有业务服务器,我们用的是一个Mo造数据对吧?好,那他呢,把数据写到了我们的MYSQL啊,写到咱们的MYSQL里边。
02:09
好,那接下来呢,Maxwell。读取,那麦克斯当然还是麦克自己,进程就是麦克斯对吧?好,那卡夫卡呢,当然进程还是这个卡夫卡,不过呢,他要依赖于ZK这个镜头。它依赖于ZK这个框架,所以咱们这样写啊,啊,那下来我们的link APP就到这个了,这个呢就是谁啊,就是我们自己对吧?啊,Windows里边把它打开,最后呢是Phoenix,当然Phoenix肯定还是自己,只不过说Phoenix它要依赖的东西比较多啊,比如说它得依赖于。对吧,好,那H又依赖于ZK和。H。DFS。对吧,它又依赖又依赖ZKBFS,所以我们为了完成这个测试,我们要开的东西对吧?呃,Mo呢,我们先不管啊,等会呢,我们可以单独手动去添加数据,这样更方便一点啊呃,那my sol开机自习不用管ma sol开一下对吧,卡不卡ZK,然后呢,IB相关的好,那我们知道要开什么东西,服务端提前打开好。
03:15
呃,咱呢,先把这个服务端要的东西给它打开啊,那未来呢,我们代码写完,我都会给大家把这个写上,因为这样的话呢,你不容易。起错服务或者说起少了对吧,哎,中间呢,我卡夫卡没起。啊,最后呢,没有数据。啊,导致出了问题,那这不行对吧,所以呢,我们就很简单,就把这个写出来,然后我们就对啊就按照这个,我们先在脑子里边有个数据流,整个数据是怎么走的,对吧,那另外。我们程序什么样子啊,当然这个东西啊,它还用到了弗林CDC用到了。MYSO个冰帽对吧,但是前面有我就没有单独写了啊,如果说前没有,我在这还加一个括号对吧,我说你写一下也行吧,弗CDC对吧,然后呢,同时它要依赖于这个买circle,因为这里面呢,还有一个两个流嘛,除了。
04:09
消费topic DB主流之外,它还有一个配置信息流对吧,好,那这样的话,咱们就。搞定啊,接下来我们ii起啊,先启动这个IDFS吧,因为IDFS呢,它要退出这个安全模式对吧,所以它的时间会比较久一些,那我们先把它。执行了。然后再写其他的,那这样的话就是更快一点。就之前是华罗庚是吧,还是陈景润那个烧开水问题。有知道的吗?应该是华罗庚吧,我记得啊,那个烧开水问题是吧?啊,泡茶啊,应该是泡茶,不是烧开水是泡茶。有没有大家知道。
05:02
好,然后麦克。那这个搞定,然后接下来呢,我们进到这个IDFS,看有没有退出安全模式啊。不知道。你居然不知道?好特征安全模式了,然后咱们启动这个。就是他提出一个问题嘛,就是泡茶以怎么样最节省的时间要泡茶,现在呢,就是杯子。没洗。对吧,然后呢,开水没烧。啊,开水没烧,杯子没洗,要做的事情很多,对吧?啊,应该怎么去安排啊,其实讲的就是说先把水。打到水壶里边去烧着,在烧水的同时去洗杯子,对吧,不就跟我们一样嘛,所以我们掀起的IDFS在IJDFS慢慢的去校验,退出安全模式的时候,我们起其他的啊,当然这多多说了一点啊太啊好,当然这个大家都都能明白啊,哎,这个敲错了。
06:10
但是它是有实际问题的,对吧?呃,那这些东西呢,都已经启动了,然后进到Phoenix里边露一眼啊。看能不能正常访问,其实他这个客户端你不起他也没事懂吧啊,但是呢,未来我们肯定还要检查这里面数据有没有写进来,对吧?啊所以呢,我们就嗯进来select新from。他这个一啊,嗯,两张表呢,我们都。等会儿呢,我们就先查这两张表,现在呢肯定没有数据对吧,那没关系,好,那我们准备工作呢,就已经做完了啊,最后呢,我们就剩什么把它提起来加。造数据对吧?啊把它启动加造数据就好了,那这个要截一下测试呢,我们肯定要把它提起来,然后呢,我们要打开这个啊,我们先手动造数据啊,因为我没必要去Mo,而且我告诉你Mo,你去Mo其实也没用啊,就是对于我们DM去Mo,嗯,没有用。
07:10
嗯,因为我我呢在这个我们在造数据里边,这个脚本里边没有去造维表数据,除了用户表,其他维表不动。啊,只有用户表会造数据,其他的尾表不动啊,没有去造啊,所以呢,你你执行Mo其实也没用,我们现在呢,就是两个base mark跟这个开一对吧,啊这两张表,所以它不会有数据啊,所以等会呢,我们在这。去。写数据手动去添加就好了,对吧。呃。Trade mark,这是一张表对吧?然后呢,还有一个开一啊,等会呢,我们再搞一个开二,二也行,对吧?二的话我们到时候再自己去添加一个啊,就搞三个,但是这个二呢,现在没有表都没有对吧?等会呢,我们要去在配置信息里边添加一个这个看这个二的配置信息啊,这是等会我们要做的事情啊,那现在呢,我们把这个打开啊,然后接下来呢,启动。
08:11
啊,但是这个启动有可能会报错,因为我们还没有测过对吧?啊,这是第一次启动啊。但没关系,有问题呢,我们就调呗啊。好,建表语句已经打印了,但是呢,它不会真正建表,因为表已经见过了啊,好在我们加了if not exist对吧?好,那接下来呢,我们到这来啊,呃,在base trademark里边我们添加一个13啊,比如说上海对吧,然后呢,我给他一个。Bbb。BB对吧,好保存,保存好以后呢,看这边诶正常打印对吧,而且那个BBBBB呢就没了,因为我们把logo URL干掉了,对吧?更重要的呢,不是这我们应该到Phoenix里边看一眼对吧,看这个贝mark那张表有没有数据,诶13上海就进来了。
09:03
对吧,我们要的就是这个效果,而且呢,我告诉你这个地方如果发生了修改呢,它会不会同步啊,比如说我现在改成大写啊。我现在给他大写。对吧,我保存,大家告诉我它会不会写到菲斯。我做了一个修改操作,他会不会写到菲尼克斯呢?能不能行?可以扣一啊,觉得不行的。扣二。我做了一个修改操作能不能行。可以吧,因为我们当时大家还记得我们保留的是什么数据啊。我们当时保留的新增修改和初始化都保留了,对吧?好,那我们来查一下啊,检查一下,诶那这边呢,变成了大写对吧?哎,那你那边新增和修改呢,都会同步到这。
10:03
啊对,张山改出的话,山没有吧。没有山啊,没有山,秦总不要忘了,山我给过滤掉了,我当时不是分析过,删除我们可以。不再菲ix删除吧,对吧?啊,不再菲尼X删除啊,没有删啊好,那这个搞定,然后接下来我们测另外一张表啊,再测一下看这个一啊这张表。这张表呢,我们再来一个20。啊,再来一个20对吧,20的话,我们来一个北京啊。啊保存对吧,好,那我们来看这张表啊,就是看这个一啊执行这个词语句了。走诶北京就写进来了20对吧,没有问题啊,当然了,你可以改一下,我比如说我们改成小写啊。好,那我们快查一下,这边呢就有了。对吧,就有了,好,但是呢,现在如果我在这里边添加一条数据呢,比如说我加个114对吧?嗯。
11:03
开的硅谷,然后呢,它处于17啊品类,比如说啊随便加的对吧?啊最后呢,我们可以把这个删掉啊,那现在。当前这个情况,他是不是应该打印说。没有这个。信息啊对吧,他会打印找不到K吧,他会打印,因为我们的配置表里面确实没有这张表,那怎么办呢?啊,比如说我呢,把这个这张表我也要,我现在也要对吧,所以呢,我要添加什么。看啊,这里面字段ID name,开这个一的ID对吧,好动态的添加,我们把这个演示一下啊。这个呢,是我们的叫category。二这张表对吧?好呃,比如说表明呢,咱们加这个啊。然后是ID逗号name,然后一个开这个一的一个ID对吧,来看啊。一个开这一下划线ID对吧,到这边来添加啊叫category。
12:06
一下划线A下划线啊ID对吧,注意啊,开这个一下划线ID啊,不要写错了,这个呢,ID可以不写,那个扩展字段可以不要对吧,保存保存好以后呢,那么它就会打印建表语句对吧,我们就多了一张表啊,多了一张表啊到这边来我们可以查一下。比如说他二。走诶,他就有了这张表,刚才是没有的,对吧,之前是没有这个二这张表的,我们的库里边只有这两张表啊,所以呢,我也没有去感叹号table直接这样查,那这个时候呢,我再在里边添加一条数据,比如说115对吧,来一个上海。呃,17啊,我们就写个17得了呗,保存好,保存好以后接下来。到这边来查。诶,那么我们115上海就来了。对吧,这就是我们说的动态的,我只未来只要我维护一个table process这个表就可以了,我不需要修改代码,也不需要重启了。
13:11
对吧,这个就非常的方便啊,非常方便好,而且呢,大家做完测试以后,我告诉你啊,这个东西呢,你先不用管,你就这样OK吧,你就跟我一样就行了。啊,你不用先啊考虑诶,那我未来要的表不止这一些啊,我是不是应该导入过来,还有初始化这个工作呢,我们放到后面要用到为表的时候,我们再来做,OK吧,现在呢,你就随便写一些表测试就行了。啊。
我来说两句