00:00
OK啊呃,那我们的这个采集工作啊,以及这个辅助脚本啊,就完事了,那完事以后呢,接下来我们就来到了这个环节。就是现在我们就要考虑通过这个Spark streaming,然后呢去。消费你卡不卡通的数据,然后呢,去做分流操作。对吧,那么这一步的话,我们首先是不是要先把你的这个这个代码的环境,先把它这个搭建好啊。是不是说接下来啊,我们就回到我们的这个ideal中啊,开始去搭建环境来把ideal打开。诶,我啊,稍等一下啊,这个有点慢啊,我以为我没点上呢啊。
01:02
好,这个进来以后啊,我们这个。之前的这个就不用了啊,我们把它关掉。Close。行,那我们重新新建一个这个全新的一个工程,就专门去做我们这个实时项目的处理啊,那我们新建一个project。好,呃,然后呢,我们建的还是这个ma文啊,我们建一个project啊,然后下一步,呃,现在我们取名字啊,Come点艾硅谷点我们就叫准ma点呃,就叫准ma吧。对吧,然后呢,这个叫呃,叫这个这个。Real time啊,就这个实施项目吧。可以吧,就是这个电商的一个这个实时项目。能写吧,同学们啊,准备的这个real time啊,我想想啊呃呃,Spark啊,加上一个Spark Spark,这个real time。
02:05
可以吧,啊,就是这个Spark的一个这个实施项目啊,行,就这样取名字吧,来下一步啊,嗯。我想想啊,再加一个吧。好吧,0925啊,0921018是吧,把我们班级名字加上OK吧,要不我这个有点乱啊,因为我这个写了很多了,有点乱啊,这就这样啊,来下一步。行呃,这个地方我这个最好还是给它分割一下啊,对吧,这样会好看一点啊,就要不它这个默认会给你连到一起了啊行,直接分进去。OK啊,呃,那现在我们创建的是一个叫什么叫这个project,呃,那因为我们这个整个实施项目的话呢,呃,我们要分好多层来去做,比如说有你的这个,呃采集分流对吧,有这个宽表层的这个处理对吧?最后呢,可能还会写写什么数据接口,所以我们要做很多事,那我们把这个事呢,就给它分开去写啊,所以说呢,我们就不在你的这个project里面去写代码啊,理解吧,我们要干嘛呢?我们要来到这里面看好了啊。
03:12
在它下面我们再去用上一个叫做module,我们在具体的模块里面去写好来下一步好,那这个模块的话,我们就叫做现在我们做的是Spark的一个。就通过这个Spark对不对,呃,那就什么就叫这个Spark streaming,然后呢,呃。我想想啊,Spark real time吧。来写吧。就通过这个Spark STEM,然后呢,去做这个实时的一个处理啊行,我就这么取名字吧,好来下一步。SPA克streaming,然后呢,还是这个real time啊。行,来finish。相就相当于我们在你的呃,Model这个project下面,我们又加了一个这个modelle,然后这里面就是我们具体做我们的这个实施处理,那么将来如果说我们想去做个数据接口的开发,那我再来新建一个modeldu,对吧,我想做别的事啊,那我再来新建一个modeldu,这样的话就是这是一个我们完整的一个项目,然后项目下面你是分不同的这个模块去做的。
04:11
能听懂吧,把它这个分的细一点啊,行,那把这个创建好以后,接下来我们就要去准备环境了啊同学们,呃,这个准备什么环境呢?首先我们需要把我们这个所有用到的依赖给它加过来啊,这个依赖呢,我都提供好了,我把它直接复制过来。好,直接复制过来啊。这个东西比较多啊,我先把它拿过来。呃,拿过来以后呢,我就放到零里面,放到这里面啊,放到它里面啊同学们。能听懂,因为我们的project我们不做什么事,你能听懂我的意思吧?这个project我们不做什么事,它就是一个工程,我们具体的东西呢,是写到你的module里面的,所以说我们的依赖要加到你的这个module下面的这个po文件中啊,来加对地方啊,把它打开好,打开以后呢,你就这么直接把它放进来就可以了。
05:01
把你刚才复制的那一堆放进来啊。好,放进来以后大家注意啊,东西比较多,我们来来看一下。首先啊,这上面有一些这个pro的一个定义啊,这里面就是定义了一下我们的各个版本对吧,然后还有什么编码相关的,比如说我们Spark的版本对吧,SKY的版本卡不卡的版本啊,做了一个定义。能听懂吧,然后Java的版本啊,呃,然后下面就具体的依赖啊,像我们这个,呃,阿里巴巴的一个fast啊,这应该是我们用的比较多的啊,在这个整个处理过程中啊,所以把它这个加进来,然后呢,下面是你这个Spark相关的啊。对吧,Spark相关的,比如说Spark扣,Spark streaming,然后呢,跟卡夫卡这个兼容整合的,还有什么这个Spark跟卡夫卡整合的,这是你的这个卡夫卡的版本,对不对啊,跟这个卡夫卡整合的。对吧,那你都得加进来,好,那因为我们这个会涉及到很多个这个Spark相关的这个。依赖,那我们的版本号呢,都得去写。
06:01
对吧。那如果说将来我们想更换版本,如果说你直接这句话写的,比如说1.0的版本啊,这个1.0的版本,这1.0的版本,1.0的版本,如果你想更换版本,那叫什么改它改它改它改它就很麻烦,所以说我们统一呢,在上面呢,把它。定义好。然后呢,我们这个地方写什么呢?这个地方就直接写,写这个叫Spark version,就用的就是它。那将来你看啊,你都是写的Spark wash,然后这也是Spark,呃,这个RKW,这也是Spark wash能不能看明白,好,那你把这个写好以后,我们将来要改,那我直接改这个地方就可以,这个地方一改,那我对应的下面的是不是都会去更改呀?能听懂我的意思了吧?同学们啊,这要知道啊。好,然后后面是你的这个这个什么Jackson的,然后呢,日志的my circle的,Red的,这个ES的,虽然说我们现在可能还不用啊,但是我统一都给它加进去了,好吧,还有这个什么这个HTTP的啊,这个是我们在ES里面会用到的。
07:02
对吧,再往后呢,是一个这个SKY的一个什么编译插件啊,这个东西我就不给你解释了,你就直接把它拿过来,然后放进去就完事了。啊,那么整整体我们需要加的依赖呢,就这么多,把它怎么先加进去,后续如果说我们还需要用到什么依赖,我们再单独往里面去加就OK了。明白了吧,诶我这个怎么半天还没解析完啊,我看一下啊,我这个应该是都有的,他不用重新下载啊,应该是我没有设置那个啥啊。应该是我的没有设置好哈。这个我看一下我的眉粉啊呃。哦对,我这个ma你看下他没有没有设置好,我设置一下啊,我重新设置一下我的ma啊,要不他这个老老下载不用他下载的啊,我这个都是有的啊。这个新的工程没有设置啊,来我设置一下啊,我这是在呃,阿帕奇美粉在这啊。
08:00
好,这样就可以了啊,来点击OK。好,稍等一下啊,他应该就快好了啊,因为我这个都是有的,我不需要你重新下载啊,他刚刚是那个用的位置不对啊,我我的仓库他没有用上啊,他需要这个重新下载啊。好,等一会儿吧啊,它这个反应有点慢啊,行来,呃,这个我先不看啊,等一会儿它就好了啊,然后下面是我们的这个我看看啊,等依赖加好以后呢,下面就是一些其他工作了,比如说我们要加配置文件,然后加工具类什么的,这个我们就具体来分析了。能听懂吧啊具体来分析了,就是我们需要哪些工具类,然后呢,为什么有工具类啊,然后呢,我们可能要配合上这个配置文件去做啊,做的更加的什么动态一点啊,这个我们就什么到时候这个写代码的时候具体来分析啊,那基本的环境的话,我们就把这个依赖加好。然后呢就可以了啊,我看一下啊,然后这个是不是已经好了呀。
09:02
对吧,已经好了啊,就是我是不需要他下载的啊,就一开始我是没有把那个没设置好啊,他没有用上我的仓库啊,他需要这个重新下载啊,行啊,那我们这个基本的工程环境啊,就准备到这儿好,接下来我们就可以在这里面开始去写我们的这个代码了。OK吧,嗯,行,停一下。
我来说两句