温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那么接下来我们看到第二章项目需求及架构设计啊,那这个架构设计呢,也是根据我们需求而定的,大家应该明白对吧?所以第一部分呢,我们先看项目的需求分析,了解一下在这个项目当中我们需要做哪些事啊,我们根据我们所需要做的这件事进一步的去思考,从而得到我们的价格啊,那么第一块我们的。需求,呃,需求当第一个呢,是业务数据传输通道的搭建,我们需要将这个数据采集到emr集群,OK吧,好,那么第二块数据仓库的维度建模,那么我们之前就提到了这个建模这块呢是非常重要的啊,好,第三第三。啊,当然在建模当中呢,我们分为很多的表啊,需要了解一下,后续呢,我们会介绍业务的时候还会再进行介绍,这里面就包括事实表和维度表,好好那第三个任务调度。
01:03
我们应该怎么去做啊,在实时疏当当中呢,相对来说还好一点,因为我们毕竟是七乘24小时运行,我们只需要负责第一次把它运起来,以及后期的升级维护就好了,对吧?那么第四块呢,数据的可视化,我们得想一下我们可以用到哪些可视化的一个工具啊,对吧?呃,是需要自己去开发呢,还是用现有的呢?对不对啊,这个都需要我们去考虑的一些事情,好,那基于我们所定的这个项目需求,有以下几个问题啊,需要我们去思考,那我们来看一下第一项技术如何选型,比如说我们在搭建通道。我们该怎么选型,其实大家也知道了,我们用的flink对吧?啊,但是呢,在生产环境当中,刚开始的时候,我们肯定还要去思考,我们为什么要用到这个内容对吧?以及各个框架的选择问题,我们需要了解一下,好那么第二个。
02:00
框架版本如何选型呢?那如果说我们用的是em Mr,那相对来说还好定一点,因为用的em Mr呢,像腾讯这样公司呢,给我们定了它的一个。版本了,也就是说它会将其中的兼容性问题给我们解决掉了,那特别是我们如果用阿帕奇呢。那所有框架都是独立的,那你可能需要自己去解决这个框架之间的兼容性问题,呃,或者说我们选择CDHHDP,当然现在这个公司呢,已经合并了,现在它提供的产品叫CDP,对吧?啊,那CDH跟HDP呢,也还有老版本在公司使用,所以呢,我还是这个文档呢,还是放在这儿了啊,那像这种内容呢,它也是解决兼容性问题的,那我们并不需要去担心,但是它有个问题不开源了。如果我们想增加一些特殊功能,哎,就很不是方便了,对吧?啊,这是我们要考虑的问题啊好,那第三点。
03:03
我们是选用物理机还是云主机呢?对吧,他们成本上或者后期的维护上面又有什么不同点呢?这都是我们需要去考虑的啊,那么第四个如何确认基金规模呢?就是说根据我们现有的数据量,那我到底需要多少台服务器,我应该怎么确定呢?我们应该怎么计算呢?对吧,等等这些都是我们需要去思考的问题,都是由于我们需求提出以后,那我们要搭建整个集群,我们需要去考虑的问题,OK吧?
我来说两句