温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
Work count咱们已经给大家讲完了,那接下来呢,我们来讲一下第三章DSTEM的创建啊,就是你看看如何来创建STEM对不对,那么它这里面说了第一个有一个叫RDD队列,咱们刚才不说过了吗?我们可以通过什么呢?我们的Dis dream把每一段采集周期呢,当成个RDD,那就意味着在源源不断的生成RDD对不对,那我们这里呢,就可以模仿一下什么呢?就是说往把RDD呢放在队列当中。你放在队列当中,不断的从队列里面取RD放进去,那其实是效果上感觉差不多,所以啊,咱们有这样的一个处理方式啊,来咱们这里呢,把它关掉,诶咱们给大家演示一下,来拷贝一下,拷贝以后咱们写上一个我们的二啊,然后呢,这边写上一个叫Q放过来,然后点击这边,那我们课件当中是怎么写的呢?同学们看啊,它这里面呢,就有一个Q,这个呢,我们直接拿过来啊,咱们拷贝,拷贝之后呢,把咱们上面这些东西啊,咱们全去掉,不要了啊,给它来一个Q就可以了啊,这个文字性的描述咱们都不要了,给简洁一些,好,这个muable给它加过来,然后呢,这个RDD给它放过来,放过来以后,那么大家会发现我们的这个环境对象中有个叫q stream,所以啊,咱们把这个呢给它来啊,来拷贝,拷贝以后放到咱们的这个地方就可以了,放完了以后,那么我们就从这个Q里面取RDD,其实就没问题,那么取完以后其实你会发现。
01:27
跟咱们之前的大同小异啊,所以我们拷贝还是我们的什么flat map呀,我们的map之类的东西对不对,那这里呢,可能直接就reduce by t了,所以把这个去掉,去掉以后,那我们现在啊就得有个Q了,那这个Q在哪呢?对吧?你现在有个Q,那什么时候往里面放呢?它会在我们当了之后就启动采集之后呢,把这个呢拿过来拷贝,在采集之后在这个位置拿过来,拿过来以后会通过咱们的上下文环境对象不断的去创建RDD,然后呢,往这个Q里面加。
02:02
然后呢,再休眠一段时间,再往里面加,所以啊,它模拟这么一个过程啊,模拟这么一个过程,那这个操作我们其实就给大家演示一下就行了,因为这是为了做测试用的,因为你全都是假的嘛,对不对,所以啊,咱们这个演示一下就可以了,来运行。好,同学们,你们会发现现在是不是在不断的得到我们的数据啊,你看是不是就这样,他不断的得到我们的数据啊,就是这个意思,好了,这个呢,咱们就说到这儿,因为它其实就是往那个Q里面不断的加数据,而且呢,再加数据之后呢,我们从Q里面去不断的取数据。
我来说两句