00:00
好,那我们第三章从第三章开始,开始呢,正常就需要去一层一层搭建出仓了啊,当然在搭建这个出仓之前,我们需要先把这个have的环境准备好啊,在咱们这个之前讲采集项目的时候啊,咱们最后一步是不是就是在咱们那个集群当中安装了一下have啊对吧,咱们只是安装了一下have,但是没有对其做任何的配置,对吧?那咱们接下来要做的第一件事就是给have呢替换一下这个引擎啊,因为在实际的生产中啊,我们这个mmr引擎啊,几乎是很少用了啊,很少用,几乎几乎没有人用了啊,所以说在这呢,我们给它替换成啊其他引擎,那替换引擎呢,我们可以替换成T子啊,也可以替换成这个Spark,那在这儿呢,我们就替换成Spark眼镜。推上四板引擎啊,然后这儿呢,提到了这个替换的词板引擎了,那接下来呢,我们这儿呢,就提到了这样的两个概念。哎,咱们大家学没学82S。还没学呢是吧,啊行,那接下来给大家解释一下吧,啊,没学的话,我这也得说一下啊,那这有俩概念啊,一个概念呢,叫做have on Spark啊,还有一个概念呢,叫做Spark on have。
01:08
SPA have,这是俩概念,这俩概念啊,那现在我们先说第一个啊,海王Spark,这个应该大家很好理解啊,海王Spark,海王Spark指的是什么呢?啊,就是说我们have one Spark指的就是啊,你将have它底层的这个计算引擎替换成谁,替换成Spark啊,然后呢,你去使用这个have,使用的写serve的时候呢,那还是使用谁呀,是不是还是使用have这个客户端呀,对不对,你比如说使用have的那个普通客户端have CI,或者使用have的什么b done客户端等等等等啊,也就是说你走的还是have,只不过底算底层计算引擎它是Spark了,这是所谓的have one Spark啊,就是主体咱们面向的还是have。啊,那还有另外一种这个说法,叫做Spark on have,那这个Spark on have这个又指的是什么呢?这回啊,咱们这个主体就是谁了,就是Spark了,其实这个Spark还指的就是Spark circle。
02:03
啊,就是大家将来要学的那个模块,就是Spark circle啊,那简单给大家说一下,Spark circle是什么啊,就是Spark circle呢,是Spark当中的一个模块啊,Spark咱们在单心的只学了SPA那个Spark的对吧?啊,学card的,那后边呢,咱们还会学这个Spark circle Spark streaming,这都是Spark当中不同的模块,那这个所谓的SPA on have呢,其实指的就是咱们那个,呃,Spark当中那个Spark circle这个模块,那Spark circle它能干什么啊,首先Spark circle呢,会给我们提供一个客户端。会给他们提供一个客户端啊,那大家也可以通过这个客户端呢,去写啥呀,是不是也是可以写circle啊啊,而且他这个circle呢,这个语法就知跟我们那个have的circle呢,是兼容的啊,语法跟大部分是兼容的,大部兼容的啊是这样的啊,然后呢,你通过这个词Spark circle的课后端啊,你就可以怎么样呢,你就可以去查询咱们have里边的数据。
03:00
啊,能理解吧,就是咱们have是不是相当于有一个元数据啊,对吧,那我这个SPA circle呢?哎,我可以直接读取have元数据,你能读取have元数据是不是就能知道have当中有哪些表,你就知道它的表,那个里边的数据在HDY上哪个路径上存着呀,不就知道了,是这样的啊,那这个就是咱们这个SPA的磁口啊,或者说在这呢,指的是Spark on have啊,就是说通过Spark circle的客户端去读写have的数据。啊,当然呢,它底层的计算呢,那就是Spark它内部的引擎了,那当然这个Spark circle底层呢,并不是Spark的R啊,并不是它那个Spark是什么呀?是那个data frame set,这个是大家后边会学的东西啊,后边会学的东西啊,啊那这个大家搞清楚就行了啊,然后这时候呢,给大家再来明确一点啊,明确一点,那have on Spark,那咱们使用的还是谁,是不是还是have的客户端呀,对吧,那Spark on have呢,那你使用就是谁了,你使用的就是Spark circle的客户端了啊是这样的啊,大家把这个要搞清楚啊,要搞清楚。
04:04
行,那这两边咱们说完了,那当然在这呢,咱们应该属于哪一种啊。我也属于那种,咱们很显然是不是应该属于第一种have on Spark呀,咱们样当是把呃have的引擎换成了Spark,那我们去使用的时候呢,还是大家所熟悉的那个have啊,该怎么用就还怎么用就行了啊好,那这就是我们这个have的引擎,那接下来我们要做的事呢,就是当这个呃,Have的引擎替换成Spark啊,我先把视频录一下啊。
我来说两句