00:00
蒋总是如何做到这么细的,那你得好好问蒋总,对吧,分细对吧?好,那接下来呢,我们要做这个内容的一个测试啊,从天生的是吧,我觉得也是啊。然后这边我们看一下做测试,首先呢,还是两个东西,一个是数据流啊,一个是数据流,再一个是从我们的程序。码的角度来说的啊,两个啊呃,那数据流呢,当然是APP或者说是web,传输数据到哪啊,发送请求到N,然后呢,它传到我们的spring BOO。分布对吧,然后呢,这边它是不是将数据呃直接写到卡夫卡啊,这个是你显是行为数据啊,因为我们这个地方呢,是行为数据跟业务数据打来的啊,数据流来我就要这样来写了啊。
01:04
两块来写了。还有一款。他呢,不是到这个卡夫卡布的呢,将数据写到了my circle。对吧,写到my circle,而接下来呢,用一个link程序。爱的声音断断续续的吗?其他同学的感觉呢?其他同学呢?有一丢丢是吗?难道是风扇?麦的感觉是断断续续的。开了空调,我我一般开空调之后都会开电风扇,我晚上睡觉也是,就我空调和电风扇都是一把开的。
02:08
那我把电风扇不对着我人吹了,可以吧,不对着电脑吹了。我盖个大被子,然后开个空调,开个电风扇,它不香吗?现在呢,还有吗?就是我我把电风扇关掉了,没有对着这个电脑吹了。现在呢?大家感觉咋样?因为早上我在聊的时候,大家没有这个问题啊,没有反应。电音没了,又有其他的问题了是吧?没有了吗?难道真的是这个风扇的问题?可以了是吧,那估计就是这个风扇啊,这个电脑它可能它的它的它的这个。麦在这个左边啊,因为我把风扇放在左边啊,昨天之前用的电脑,可能麦在右边,可能麦在右边之前吹的时候大家没有发现。
03:04
对吧,可能有这个问题啊,行,那我就把这个风扇关掉呗,那就无所谓,或者说我等会儿开的时候不对着这个电脑吹就好了啊行,那我们接下来。这个地方呢,我们用一个flink APP,大家其实都知道是这个DS。另个CDC对吧,然后呢,它将数据写到我们的卡夫卡,然后这个地方呢,还是我们的ods。也是我们的属于ods对吧,那行为数据业务数据一把啊,那接下来呢,它还是一样的用flink APP。采集数据。ABS写到不敢,这个呢,其实做了一个分流,这是我们的贝。Log APP对吧,那这个啊是base log APP好,那这个地方呢,是DWD啊,那其实我们把整个数据流都分析完了,然后接下来呢,它也是有一个base AB bapp。
04:02
啊,然后呢,填上数据,写到卡夫卡和Linux。和PHOENIX2个地方啊,注意一下这个里边要看的东西啊,啊,那下来呢,我们要从这个DWD里边读这个数据了,它呢,我们就从DWD读的数据。第配log,所以像UV和ug不用。对吧,UV和U界不用开啊,然后呢,又是当前这个APP了。啊,数据写到哪啊,那house。啊,我们要写回到这个click house里边是这个意思对吧,那接下来这个地方卡夫卡还在DWD层啊,然后呢,又是link APP,因为我们要用到订单宽表和支付宽表,所以呢,接下来到。不卡,这个呢,属于我们的。W层对吧,之后呢,终于合并了flink APP,注意这个link APP啊,跟它是一个对吧,然后呢,也要将数据写到这个house。
05:08
你想想看,这个开的东西就怎么样。非常多了啊,所以说为什么之前说16G那个电脑跑不了了,能跑的话我就还用那个电脑讲了,对吧,那开的程序我们想吧,嗯,你想要开哪些东西,按这个开吧。对吧,分部啊,前面的是Mo吧,Mo,那我就写统一的一个Mo了啊,统一的一个就是它得开两个Mo。两个Mo都在开对吧,到这个,然后呢是log。SH。啊,那开卡夫卡吧,卡夫卡的话是不是要开ZK好,那之后呢,哦,我们的弗lib这中间B我就不写了,其实这时候判断很简单,我们弗Li ABB的话只是这两个啊,注意看大家想一下。
06:00
是不是除了他们俩?除了他们俩加上这个DWS平级的嘛,这不是我们之前写过的这个启动类,就这三个人不开,其他都开。对不对。OK吗?没问题吧,好,所以呢,这个APP我就不写了,我就不写了,我只写这个集群当中开的都行,嗯,那卡夫卡的这边不光要将数据DW,除了卡普卡,还有这个Phoenix对吧,Phoenix呢,又依赖于这个HDFSS。
07:00
然后呢,依赖于这个ZK,依赖于这个ZK啊后面的数据我们在用的时候还有这个RA要开。对吧,要开这个啊,那基本上呢,我们要开的东西就这些,当然克house啊。号。号也要去开一下对吧,那也就是说其实到这一步测试的时候,除了那三个程序不开。集群上的东西,能开的全部都要开。大家想一下是不是对吧,所以很简单,我们来开一下,抓紧时间啊,来开一下来。这个还连的那么慢。好,那ZKK我已经开了,因为我的格列号子开了对吧,ZK所以是开的啊,那我们就甭管了,嗯,还FS,所以大家知道为什么要把这个虚拟机设置成。
08:02
八个G了。好,那这个ID开了,然后IDFS呢,我们要等到它退出安全模式对吧,在这个之间呢,我们先把其他东西可以开一下啊。然后log。好,然后到OD model底下,然后呢,我们就开一下这个速度。对吧,好,那按这个看了,然后其他的我们先在这看一下。这个东西呢,也都开了啊,然后呢,我们去看一下,它应该这个这个点应该退出安全模式了,但是我们确认一下。A,还是有问题吗?
09:03
那如果声音还是有问题。那我想想看怎么办嘞。其他同学也是这样觉得的吗?RA。没有问题。有的人说没有问题。二都没有问题啊,那就是你那边的问题了。刚才应该大家反应都有问题嘛,都有问题的时候应该是这个。应该是这个电风扇。我发现电风扇没问题是吧。对,那你刷新一下声音,你那边听到声音还是断断续续的吗。叶总这边。只有叶总和。郝总有问题是吧?
10:03
接触虚的感觉。现在没有,刚刚有时候会有一点。会有这种吗?我到时候我到时候再自己再测一下,我我昨天晚上也找老师测了。我可能时间测的比较比较短一点而已。有一点点是吗?但是也有好多同学没有问题对吧,那我们先继续啊,先继续啊行,那这边退出的安全模式了,已经退出了安全模式对吧?啊。讲课就有一点,现在就没有,嗯,那这样啊,我我插个耳机插个麦,我试一下好吧。带个麦我看看啊。或者下课测吧,下课我们测一下,我连续讲话啊,现在就不管了,这个不影响正常听课吧,对不对。他会中间断了很长时间吗?会影响到听课吗?
11:13
应该不会吧,如果说暂时不影响听课的话,我们就先。继续啊,然后下课呢,我们就花一点时间把这个来集体来调一下好吧,好呃,那这边呢,退出已经退出安全模式了,对吧,已经退出安全模式了,退出安全模式之后呢,我们就可以启动了。还要起啊,我知道那个风声刚才说的应该是这个起red啊,那不着急啊,起来他也要做初始化,那趁着这个时间我们就可以启动RA了,对吧。Red。好,那我们也去访问一下啊,也要等这个确实提起来了才可以啊。
12:02
好,没有问题对吧,嗯,那这边呢,我们就退出来也播恰当了,然后再到我们的Phoenix,然后呢,我这边去访问一下。你PY。来,然后呢,我们访问一下。然后好,这个呢也能访问,那我们就放在这儿啊,放在这啊,那到目前为止,我们是不是要起的东西都已经启动了。对吧。我们看一下ZK,卡夫卡,Phoenix都有了,Redhouse也启动了啊,House呢,在这边第一个。在这对吧,行。那接下来呢,最后我们是两个东西啊,一个是我们的两个Mo嘛啊RT。
13:00
A pd log,好,嗯,然后呢是CD OBD model j more r t TB啊这里边对吧,Mo啊好,Phoenix在这,这是click house,那接下来呢,我们要去开启这个基源的东西,那在这个之前呢,我们应该把这个表啊去创建一下。对吧,因为昨天我们并没有创建这个表啊,那我把它拿过来。C啊,然后呢,我们拿到这给改个名字。把这个还是一样叫210325来叫这个啊,那我把这个拿过来CTRLC。到课号当中,我们把这张表创建一下show tables。在这张表对吧,States啊,嗯,然后select count。看新from。
14:01
这个。看到没有,现在呢,肯定是零个,这是零个对吧,那我们就开同起来啊,那从ods层开始开啊,Ods个CDC来开起来。这个我刚才课前从get上拉下来的啊。好,Flag CC开起来了,然后接下来dwd base logg和base cb对吧,运行。然后贝斯DB。我这个电脑目前是32G啊,目前是32G。因为还有32G的内存条,我当时诶这个地方有问题吗?我看一下啊。Swis mapping。稍等resource目录。啊,这被子刚晒的,在这呀。
15:03
贝斯DB,我看一下这个啊,它启动有问题,Base斯DB有问题,Base log没问题对吧,那我们看一下这个地方,他说呃,连接这个任务挂掉了。折叠一下。他说我们这个东西有问题,行,那我知道了啊,这个地方呢,他应该在我们的编译包底下com啊硅谷。然后resource底下对吧。ADD硅谷,然后我看一下classes。我把这个东西呢,给大家放到这来啊,我看一下这个包com点的硅谷resource,它是属于Java包,然后在在这。Come,然后呢,CRC。一份啊,放到classes底下。
16:02
没编译进来,这个问题呢,他没编译进来。对吧,那那他应该会把这个编译进来啊,他没编译进来,那这个问题,然后我们呢,重新运行一下,它这个错就是说我们没有配置这个信息嘛,但实际上我们有对吧。就是说他在编译的时候没有编译进来。那我们重新启动一下。好,是不是过了对吧,这个就打印出来了。所以要看到错误之后,要知道它是大概是什么原因,但是呢,我们已经配了它对吧,我以为这个没下下来,所以我看了一下,那刚才那个错误呢,就告诉我们就是这个配置信息嘛,就他没有对吧,但是我看了一下配置文件有啊配置文件有,然后你代码运行没有,那一般就是编译的时候没有,没有放到那个包里边,因为在代码运行的时候,它不是从这去读取数据了,而是从这个class底下对吧,读的是这个字节文件。
17:03
啊读的他啊读的这些东西,编译好的这个点class文件。啊,编译好的这个文件对吧,这个要注意一下,好呃,那这个base DB搞定啊,搞定好之后呢,我们继续啊,然后呢,DWM层。刚才那个错误大家能反应过来吗?刚才那个错误。打开。刚才那个异常有问题吗?也没反应啊。没有问题是吧。好,Payment wide,大家是不是有同学也遇到过这种问题啊?是不是我估计有啊,应该有同学也遇到过这种问题啊,行,那payment wide也开了,开了之后呢,你就可以开DES product states了,开它对吧,点开。
18:11
往那张表里边写数据,你看一下这边啊弗CC23456啊,那应该还有两个DW2个层七八。对吧啊七八,然后呢,还有两个这个还有两个什么呢?DWS层的一个表啊,还有三个对吧,你想想看,要开十一二个最后啊。好,这个连接上了,嗯,被CB这边打印了也没问题啊,我们都看一下,让它运行一会儿没有挂掉才可以,对吧,那我们接下来就可以去造数据了,到这边造数据,注意这个造数据的时候一定要注意一个事情修改时间,因为现在想啊,我们最终是不是根据事件时间去。开的窗口。我们是不是要求我们的什么呢?
19:01
行为数据和业务数据时间得一样,大家想一下是不是?对吧,我们得保证他们俩一样吧,所以一定要在这个测试之前改一下这个时间啊呃,那这个呢,8月30号对吧,我改一下改成。009201啊,我改成今天啊,然后这边再看一下。往上翻,我把这个时间呢也统一一下。对吧,你一定要注意改一下,如果说不改这个时间,那将会有问题了。啊,将会有问题了。对吧,好,这个要注意一下啊呃,那接下来我们可以造数据了,造数据呢,我先去造这边吧,好吧,啊啊一。啊,然后呢,我把这个也敲上啊,知道吧,啊这样然后呢是G末2020好变呢,先运行啊,因为这个呢是一点一点数据造的啊,看到就不一样,它是一直的啊。
20:08
所以呢,我们要看到数据的话,我们得去把这个呢,运行完了之后,我们再去运行啊。把它放在这儿。然后呢,继续运行。我们要看到这边有数据,得等至少十秒以上吧,对吧,我们先看这个,哎,开连接池了,已经有这个数据过来了,对吧。我们没写打印吗?我们是不是没写打印啊,那没关系啊,这边已经开辟连接值。Product states对吧?开辟连接值行,那我们把数据停一下呗,数据停一下,我们去课列号当中看一下,对吧,看到C啊,停掉,编导也已经造完了,我们看一下前面,嗯,弗林克CC没问题,CB没问题啊。被CB被都没问题,Out we宽表也有数据,而且都关联上了,看最后维度信息都有对吧?Payment we也没问题啊,然后呢是product states这边呢,只是打印了开辟连接值,我们并没有看到数据打印,那应该是我在这边没有写这个打印。
21:17
对,果然没有写对吧,那这个没关系,因为我们会将数据写到这个clean house,所以我们直接到这来看105条写进来了吧,对吧,啊,写进来了那就OK了啊,那就OK了,对吧,这个就搞定,我们测试也没有问题,对吧,整个的啊好,那这块呢,我们就搞定了,我把这个呢。
我来说两句