00:00
呃,那这块已经搞定,搞定好之后呢,我们这边流就得到了,哎,那这里边呢,都是我们要的维表数据对吧,或者说咱们呢,叫DMDS对吧,叫维表的数据啊,那最后呢,要将数据写到菲利X,但是呢,咱们现在写不了,我们就先做一个。打印对吧,然后呢,启动。啊,那我们给一个名字啊。找他。叫DAPP对吧,这个里边多余的东西把它干掉啊好,那这个东西就搞定了,等会儿呢,我们就可以运行对吧?啊,那我们想一下我们要开的东西。这个呢,会往我们的。Phoenix里边去见表,大家想是不是?对吧啊,它会往penix去建表,呃,所以呢,咱们要把Phoenix打开才可以啊,那要开Phoenix,那就要开H,开H的话要开HDFS啊,所以呢,我们先start DFS。
01:12
啊,启动HDFS,然后启动h base,在启动我们的菲I,我们先把这个库得建一下,因为大家还记得我们用了这个另外一个数据库啊,对吧,所以我们要建一下这个库才可以啊,你要不建库,你想在这个库里面建表,那不可能对吧,所以呢,我们还有事情要做啊。呃,我们要等到HDFS退出安全模式9870。现在呢,还有15秒退出安全模式,我们得等着,对吧,你HDFS没有退出安全模式,你去启动h base肯定也是报错,因为他连不了啊,因为h base启动的时候,它要尝试连接这个HDFS。好,这个已经关闭,然后接下来我们就可以启动h base啊,其他呢,注意不光要有HDFS啊,还得有CK,只不过说我这边ZK跟卡夫卡都是开的。
02:12
所以呢,我就不单独去聊这个事儿了啊,但是你要知道一下ZK跟HDFS都要启动才能启动h base啊啊,由于我这个是开的,所以我们就不用再起一次了啊,但是你得知道start。好,那艾呢也要做自己的一个初始化,所以呢,我们也来看一下啊,好的,我102,它是16010啊呃,现在呢还没有表,你看服务器都还没有上来对吧?诶现在呢,Reading server已经有了234啊呃,表呢还没有对吧,还没有加载进来,那我们刷新啊,诶表已经有了,但是现在呢,这个reading还没有上线,看都是other reading,那online readings都是零啊,肯定不行,对吧,我们要等到它出理完完成,现在呢应该可以了啊,感觉应该是可以了,对吧?往下拉啊,如果说它没有这个标黄标红,那就没有问题,这边都是绿的,就说明我们的S也已经启动啊,启动之后呢,我们进到这个Phoenix里边创建我们的库,对吧?好,CD到。
03:18
菲尼克斯中啊,然后进来B叫s.PY对吧,走。好,那咱们呢,就进到这个客户端了,然后呢,感叹号table查看,诶可以用对吧,这是之前班级的比较多的吧,呃,076我都没删,我我未来把这个都删一下,把这个删一下,这个太多了,对吧,这是上过班的啊呃,咱们呢创建我们自己的一个。Sal。对吧,创建我们自己的这个数据库。啊,数据库对吧,那这个在哪呢?在这个位置啊,我们给大家看一下。应该底下有这个,我看啊,应该有这个测试。
04:00
嗯。啊,在这个中间吧。读取配置信息表,我看一下啊,因为这个东西它我我们出书它不能再有四级标题,所以这里面有的东西呢,就会。比较麻烦啊,在这儿对吧?啊,你找到啊,在这个8.302这个位置啊,或者说呢,这样吧,大家呢,为了大家不用自己去找,我给你粘出来可以吧,我给你粘出来啊,但是呢,咱们要改一下啊,我这儿呢,改成211126,你就不用去找了,OK吧,你把它拿过来,然后呢。往那一站。创建没有报错就行了,对吧?嗯,查你就不用查了,你用感叹号table查不到啊,它是查表的对吧,这属于创建一个库啊,你不用再查了,只要他没有报错就OK了,好,那咱们这个呢是搞定了,接下来我们想一下要起什么东西。啊。我们呢,这个数据啊,有两个地方,第一来自于主流,主流呢是来自于卡卡对吧,叫topic DB,这个是有ma写进去的,所以我们检查一下我们的maxl是不是开的。
05:09
对吧,它是由Maxwell写到topic DB的,所以我们得检查Maxwell是不是开的啊,呃,那还有一个。配置流,配置流的是通过弗林CDC直接读的,那这个logg我们已经测过了,是没有问题的,对吧,而且我们还写过一个测试类。专门打印过这个数据,它是没有问题的,对吧,所以这个你不用管了啊呃,那咱们呢,来看麦cel,检查一下麦cel是不是开的。嗯,还真没开对吧,好,那我们启动麦也算了。买个资料已经有了,对吧?啊,那你要确保这些东西都开的。诶,咱的麦克怎么样?呃,哦,挂掉了啊,我知道原因了,因为我们今天又加了一个什么。库开启了blog吧,所以简单我们怎么做呢?把这个麦cel给他干什么?
06:03
删掉啊,重新加载一下这个数据啊,所以你看啊,GPS刚才看到麦赛还有现在没了啊,所以为什么每次都看进程要看好几遍对吧,它有可能你刚启动了,它自己挂掉了啊,会出现这样现象啊,原因呢,跟之前一样,就是我们又新建了一个数据库,并开启了blog,但是mal并没有这个库的原数据,所以呢,他找不到这个库,直接报错了啊,那我们呢,把这个库删掉,然后呢我们进来。啊,当然了,你在客户端去创建也可以啊,注意库呢叫麦克好,然后呢,重新启动麦克。啊,大家呢,也需要做这个事儿,呃,然后呢,麦cel有了对吧?啊还是一样的,我们得多看一眼啊,诶还在对吧?啊,你再看。
07:02
这个时候还在那没有问题,建证号没变对吧?说明他也没有重启啊啊,那到这个为止呢,我们就OK了,就是准备工作已经做完了,对吧?测试前的准备工作啊呃,做测试呢,咱们就不要用这个,这是我们之前呃随便写的对吧?这个我们干掉,我们正经写一个啊,So,比如说我就拿base mark来啊。对吧,好,那接下来呢,为表的名称,我们就叫DM小划线,诶贝think column,我们做了有两个对吧,一个ID动画分割叫TM name,然后主键呢,你可以写啊,你写的话就写ID,你可以不写,这个呢,可以不写对吧?好那。保存我们就先就搞这么一张表,OK吧,先就搞这么一张表啊好,那接下来呢,把这个打开啊,当然这个东西有可能会报错啊,因为我们写这么多。一次都没测过啊,当然有报错,我们再解决啊,来运行。
08:04
希望可以过,因为咱们时间快下课了,对吧?啊,如果调错的话,可能需要一点时间啊。好,哎,先标语句已经打印,也没有报错,哎,那我们来看。首先第一步在Phoenix里边检查。果然。表见了,至少第一步通过了,对吧,我们的表已经有了,哎,它自动创建表了,对吧,我不需要手动放电啊,然后呢,你再那个新。From。诶,这是我们的库点叫base trademark加了DM走,诶只有两个字段,一个ID,一个内,没有问题吧,因为咱们的column就写的两个字段啊,所以这面语句就是它,那么接下来我要做什么事呢?我要在base trade b里面添加一条数据啊看看来情况啊,好,为表更新了12。大的硅谷,然后呢,这边我写一个字段。
09:01
A。对吧,那我们要看到的效果是。他能够打印出来,同时。最后一个logo VR应该没了。对吧,那才成功啊。保存。哎,你看啊,注意前面打印的什么箭头,这个箭头说明哪打印呢,说明这。说明数据确实过来了,没有被剥离掉,然后我们再检查这个数据,哎,Think table传没传进来。传进来了对吧,这是我们加的负算有了,然后看贝塔有TM没问题,有ID没问题,少了谁。Logo URL是不是没了?是不是logo URL没了对吧,我们要的就是这个效果,我要的就是什么logo UR给他干掉对吧,那这样的话,我们的表IDTM内未来对吧,那这边。它是TM内加ID对应上了吗?未来两个字段对应两个字段是不是可以写出去啊。
10:03
对吧,要的这个效果过滤也达到了好,那接下来呢,我再测。测什么呢?我在这个换一张表。对吧,我在哪呢?在这个Li,我到贝开这个一,这里边我加一条数据,大家告诉我它应该是什么现象。我保存。来说一说这个是什么现象?我们idea那边应该会打印什么。打印什么?就是这张表贝一在table process里边是不是没有啊,对吧?哎,我们只要这一个维度,其他维度呢,我不要,假如说啊,那我现在呢,其他维度增加了表,增加了数据,那ideal这边应该打印什么东西。
11:06
答应什么?借鉴表失败。啊。完了,毁了。哪哪会见表啊,这是主流哎。主流数据哪会去建表啊?怎么会打印建表失败呢?我没有配置信息就找不到key呀,它打印不是应该找不到K吗?然后打印名字叫贝开这个一呀,是不是。不是应该打印找不到key吗?来注意看啊,应该打打印这个呀,找不到K呀,这个表,因为我备的信息里面没有啊,这是主流数据,怎么会去见表呢。见表在哪儿啊?
12:03
咱们的见表在哪啊?见表。在。广播数据源,广播数据,你只有加了他才会有广播数据吧。这个是打印找不到对应的key啊,就是说这个数据过滤掉了,我不要对吧,所以最终他没有从这输出,也就不会写到Phoenix,好,那我有个问题,我现在呢,贝斯开这个一的数据我想要了啊,之前可能不要,我现在呢,我又想要这个贝斯开这个一,我应该做什么事?对吧,假如说或者换句话说,我这个被开出一是新增的一个维表。啊,假如说他新加进来的一张尾表,我现在要了,我应该怎么做?啊,之前是会打印这个对吧,我现在呢,也希望他出现这种情况,输出到最终的流里边写到Phoenix对吧,我应该怎么做。
13:03
对,填信息到。配置表没毛病,来我们看啊,注意我这个程序没停。我程序没停对吧,我们说了我要的就是这个不停程序达到这个效果对吧?好来看啊,在这个里边我们写一个再来一个字段,对吧,叫对。Category。对吧,然后D小Y键被开成为一,然后呢,我们的字段是ID加NAME2个字段,对吧?这个是不是可以不写ID可以不写对吧?好保存,保存好以后它会打印线表语句对吧?来看啊。打印解表语句,然后找不到key这个table process这个就是大家之前提到的Maxwell呢,它不光会读谁啊。为什么会打印这个呀,这就涉及到ma,它不光会读这个库,它也会读这个库,这个之前是不是有同学提到了对吧?所以你看table process定要表在这里面也没有,所以打印啊,这个要知道一下,但是呢,更重要的我们要看到它打印的建表语句对吧?来这边呢,就会多一个表。
14:14
咱们班就有两个表了,对吧?啊,当然这里边你也可以看一下他的字段啊,当然这里边不可能有数据啊,因为我们还没写呢,那一步还没做对吧,我们只是做了一个打印啊,所以呢,只是看字段ID加name好那么接下来我在干什么事呢?刚才我在贝开一里边添加数据,它是不是打印找不到K,那么再来。19。上海现在。能不能正常打印?可不可以了,如果我们程序没有问题,是不是应该可以正常打印了,大家告诉我。如果我们的程序没有问题,那是不是应该打印前面是监监括二啊。
15:00
箭头吧,前面是这个。啊,因为最终流输出对不对。OK吗?应该就在监括号输出吧,它就不会打印说找不到K了,对吧,来看啊,诶有了。对吧,这就有了这个,哎,那到这个为止,是不是就实现了我们之前功能。来什么功能?我们早上讨论的这个事情。对吧?我们希望什么不修改代码,不重启任务。有修改吗?有重启吗?没有,我任务根本就没有停,但是我可以任意增加尾表。对吧,实现了这个功能啊,但是最后还差一步将数据写到Phoenix,那这个今天肯定写不了了,对吧,这现在已经拖了五分钟,还好吧,五分钟啊好,那到这一步测试完成。
我来说两句