温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,看一下这个还有一个本地模式,本地模式是什么意思呢?就是那个任务M2,咱们现在都是提交给谁看啊。它都会103啊,就是你resource manager吧,也就是提交给雅安来运行的,它可以你想想看,我们之前学MR的时候,在Windows上跑的时候,它都是本地模式啊,啊,本地模式它不用提交给。雅安就是说你如果说做一些简单测试啊。或者说你数据集不是特别大的时候啊,这个时候可以采用这种本地模式啊,它这个速率还是不一样的,速率是不一样的,来看一下它是这样,它也有相应的一个属性,它默认的呢是。肯定是关闭了吧,因为我们之前都是什么提交到集群的,提交到集群了,那我们可以测一下呃。我们拿这个测一下吧,这个刚才我们不是有很多的一个这个时间吗?我们换成本地的看一下这个10万条,看它会有什么样的一个影响,好吧,把这个属性改为。
01:09
True,哎,打开本地模式,好,然后select count吧,Count行,然后from,然后这个log key。XD,这张表走一下。这个效率他这是吧,这不一样吗?这是不是很快啊,10万数据,你看之前20多秒同一台机器就本地模式,就是你数据量很小的时候,10万条在大数据当中已经很小很小了,已经很小很小了,本地模式很快吧啊本地模式啊,你或者做测试的时候,做测试的时候,你都可以用这种本地模式来跑啊,它这个效率还是很高的,你看这个。差别太大了是吧,很爽,其实它也是跑了一个什么。
02:02
MR任务吧,好没好。跑了吧,交给本地去跑了,跑了那他都跑了。这个速度还是不一样的啊,本地模式还是特别好用的。
我来说两句