00:00
好,那刚才呢,我们是将这个离线架构和实施架构呢,就了解完了,但实际上呢,我们刚才说了,在这个里边,我们在这个位置加一个from,跟离线架构就一样了,那同时我在这个项目当中把这一加。加一个Li CDC或者说Maxwell,或者说canal是不是也可以?做实时了,也就是说这两套架构啊,是既可以做实时,也可以做离线,而且未来大家在面试的时候,我建议呢说一套。把两个结合起来说一套,不要说离线的时候我们从这做的对吧,实时就这样做的,因为工作当中一般很少去动这个架构啊,而且我们离线跟事实数据是一样的,是同一套数据,所以呢,你就给大家说一套啊,说一套我们就要分析它的优缺点了。对吧,就要分析它的一个优缺点了,那首先呢,是我们的离线架构。
01:02
理解架构,还有一个是我们的实时架构。对吧,那我们要分析一下这个优缺点,那我们刚才说的像这个离线架构,它的优点是在于。离线架构有什么优点,有什么缺点啊?以及我们想一下。它有什么优点,有什么缺点,先聊离线的。离线的优点是什么?不要。稳定准准是什么意思?主要是在什么耦合性?低对吧,解耦啊解耦那稳定性怎么样。高。
02:00
对吧,稳定性高主要在于这个啊,那它的缺点呢。它的缺点是什么?数据重复。那对主要的缺点在于时效性怎么样,时效性稍微的差一些吧,啊差一点意思差一点啊时效性呢,差一点主要最重要的时效性就是他说的慢这个问题对吧?好,那实施架构优点不就反过来吗,时效性。好对吧,缺点呢,就刚好把这个拿过来,就是稳定耦合性高啊高耦合对吧,啊耦合太高了不行啊,讲究的是低耦合高密距对吧,然后呢,稳定性低。啊,稳定的就相对来说差一些啊,相对来说差一些好,那面试官有时候就喜欢问你的缺点。
03:06
啊,为什么东西呢?假如说我们用的是这套离线架构,假如说我们刚才说的不要统一嘛,对吧,有的同学呢,选择的是这个按这个去说,按这个去说的时候,人家就问你,那你这个经过落盘在。用form读取磁盘文件传输到卡卡,我直接用日志服务器传到卡不卡,这样不更快一点吗?那大家觉得应该怎么去答?对吧,就是在面试的时候怎么去跟人家说明咱们这个架构。用什么理由去说服他?我们应该用什么理由,人家就问,假如说你说的是离线架构这一套,对吧,人家就说你这个从磁盘先落盘,再从磁盘读出来。
04:02
是相信呢,不好。那我们怎么去跟面试官去聊这个问题呢?加个from稳定项目经理选的。都有道理啊,就是第一个点我们是什么呢?这个是。项目经理或者说架构师吧,对吧,公司的架构师。设这个什么。老,老师是这么教的啊。这个不对啊,这个答案凉了对吧,直接凉凉啊,项目经理大公式呢,是这个大公司。出来的。啊出来的大公司出来的,对吧,他更追求系统的什么稳定性啊,追求系统的稳定性啊,大厂出来的一般系统稳定性,因为数据量比较大嘛,对吧,第二个点刚才也有同学说出来了。
05:12
啊,刚才有同学说出来了啊,就是呃,稳定性其实就是突出它这个优优点,对吧,那我们这一套呢,它耦合性低,稳定性高,所以呢,大公司会这样去处理啊,那有的那有的面试官会问他说你现在这个数据量这么少,对吧,追求什么稳定实效性不是更好吗?对吧,我们应该怎么查。我们应该怎么去答呀?未来战士啊,对了,为了。考虑到什么?考虑到公司未来的发展是不是?我们不想换架构啊,啊,不想换架构啊,对吧,我们考虑到公司未来的发展,咱们数据量一定怎么样。
06:04
会变的很大。数据量一定会变得很大,对吧,是这个意思,好,那第四个点还有一个我们也可以说,呃,早期呢,早期的时候。我们实时业务,实时的业务。是使用。Spark streaming这个框架来做的啊,为什么这个点可以呢?因为Spark streaming它本身就是一个什么VP次处理。啊,你本身就VP处理,它不是真正意义上的流数据处理,所以无所谓对吧,这个时效性,你其中一点时效性,但是呢,我稳定性提高了,肯定是划算的,对吧,肯定是划算的,这个呢,也可以答是这个意思,好,那假如有同学选的是这个呢,就是说用的是我们的实时这套架构。
07:00
那面试官会问你,那你这个直接用日志服务器对接,这个卡不卡。对接卡不卡的时候对吧,那然后问你,那你这个耦合性太高了,你不考虑这个系统的安全吗?那这个时候我们应该怎么答。用第二套架构来描述。对吧,因为他也有优点啊,那我们应该怎么答呀?是不是还是一样的突出优点?突出优点啊对,这个呢,时效性好,那这个优点你肯定要答出来对吧,第二个有同学说了,我们的卡不卡呢,是高可用的,也就是说集群高可用对吧,我们搭建的集群,所以呢不容易挂掉。挂一台。挂一台两台的。两台是没有问题的。
08:03
对吧,那这是不是一个点啊,他不就担心任务挂掉了会影响到前面吗?那我们卡不卡不会挂掉不就好了吗。对吧,这个点好,那还有在于我们数据量小,那这个时候你就可以说这个事了,不要提后续的数据的一个发展,对吧,我们目前呢,目前数据量小,而且呢,所有机器存在于同一个机房传输。没有问题。啊,数据之间的传输也没有问题。对吧,那这样的话更不容易挂掉了,他挂掉往往是内存不够了呀,处理不过来了,或者说数据积压造成的问题啊,当然他挂掉了,那我这个数据传输完全没有问题,那也不会挂掉。对吧,也不会挂掉好,那第四个呢,咱们是用的flink啊,就对比上面SPA stream嘛,那link真正意义上的一个实时计算对吧,我们用的是这个link啊没有问题,那还有一个点我们也可以说出来啊,时效性好,这个这个我我放这吧,放在一起对吧,我们时效性好是为了因为我们用的是这个link,那第四个点呢,其实也可以说其实这个架构。
09:18
还是公司的什么公司项目经理。或者这个架构师是他们定的对吧,是他们定的,所以呢,最后其实就是属于一个什么甩锅。小锅,对吧,你说当时你也提出来了这个点啊,但是呢,你被说服了,可能我们考虑的是这些问题,就更符合当前我们的。需求对吧,这这个架构这种东西,或者说其他的没有最好的,没有最好没有统一的一套,你现在去看公司当中各不一样。每个公司可能都不一样,对吧,但是更多的在模仿阿里来的,但是他一定也会结合公司做一些调整修改等等这些事情,就是说没有最好的,只有最适合的。
10:12
啊,你看都会都会抢答了,在我说这句话之前,陈总已经把这句话说出来了,对了,就是这句话没有最好的,只有最适合的,就是你要符合你当前生产环境当中能解决你的问题就好了。对吧?所以这是我们给大家总结的,如果面试官关于架构这一块,他有疑问,你应该从哪几个点去答,一定要注意一下,两套架构各有优缺点,不是说绝对的碾压,并不是啊,这个一定要注意一下,好,这个是关于我们架构的对比,我们就聊完了,一定要注意一下啊。
我来说两句