00:00
OK,同学们,呃,那么从这堂课开始呢,我们将会给大家去介绍have的源码啊,呃,那在之前的课程当中呢,同学们应该已经学到了have的基础,Have的优化对吧?呃,那优化的过程当中呢,其实有很多内容都是来自于源码当中,也就是说系统已经给我们提供好的,那我们可以在源码当中给大家去找到,呃,那么这是一个点,那第二个我们要去学习。Have源码的一个点呢,就在于我们需要了解平时我们所写的一个hick客,也就是说大家在客户端当中提交一个hick,最终它会被翻译成一个MR任务,或者说一个Spark任务,呃,再或者呢,咱们也知道,其实作为have的引擎呢,可以是Mr Spark或者T子,对吧?那也就是说我们所写的hacker需要翻译成这些MR任务,我们就要需要通过源码的角度去了解一下在我们的have整个组件当中,它是如何去工作的,也就是说如何将我们所写的一个一个的思汇语句编译成了mmr任务的啊呃,那在这个整个过程当中呢,我们是分为这么三个章节,那我们整体来看一下我们将要学习的东西,以及给大家画一下这个重点内容,对吧?那第一章呢,是,我们从整体上去了解一下黑。可是如何转化成。
01:33
Mmr任务的,也就是说从感性层面去了解一下,呃,从组件的分析啊,以及它的核心的流程啊,那么第二章呢,当然看这个章节名就知道,我们是咱们绝对一个重点内容,对吧?因为是我们整个源码的解读,那么第三章是have的一个第bug的一个介绍,诶,那有同学可能会问了,那为什么我们不先讲have的debug,然后通过debug的方式去阅读MR的一个。
02:03
读咱们have转化为MR的一个源码呢,其实这样啊,呃,因为咱们知道刚才也聊到了have,它不仅可以翻译成任务,同时也可以翻译成Spark t子,或者说它在过程当中有很多种不同的优化啊,所以呢,我们其实汉武源码当中,它是会有很多种不同的分支的,那么我们自己点进去去阅读的话,那那我们可以把分支的东西都可以去看一看,那如果是debug。那大家想呢,它是不是只会走其中的某一个分支啊,对吧?啊,所以呢,我们前面是介绍整体带着大家在源码当中去点一点,整体介绍一下呢,它源码当中是如何去走的,那最后呢,我们会给大家扩展一下have。如何使用debug模式去调试,也就是说我们可以在客户端去提交一个黑,之后呢,可以移步到我们的。
03:01
Ideal当中去查看一下我们的还有源码,诶是这样子的,好,那这个当中呢,其实刚才我们通过整理介绍,因为。这一块内容我们主要就是介绍have的源码,所以第二章是咱们绝对的一个重点内容,当然其实在大家看完源码之后呢,也有很多同学可能会说,那这里边的东西太多了,方法那么多,类那么多,那我记不住呀,对吧,但没关系啊,呃,这边呢,给大家总结了有一个PPT,最后如果说你其他内容实在记不住,你把PPT上的内容记住,那就OK了,然后呢,更多的,如果那瑞他说我想要记住这里边的详细的细节怎么办?那只能说大家可以对着我这个课件去详细的把自己把这个代码呢去好好的多看上几遍,那在这个文档当中,我给大家做的是比较细的啊,主要来看一下,就告诉你在哪个哪一个类里边调用什么方法,在接下来调用方法里边呢,我用红色字体给大家去标注了,同时这个方法呢,是下面一个章节的入口方法啊,也就是说。
04:10
核心的东西也给大家去做了一个注释,做了一个介绍,对吧,那么在这种情况下呢,我相信大家对着这个文档去自己去阅读源码,它这个难度呢就会下降很多,那其实大家要想掌握核心的内容,最好的方式边看源码边做自己的笔记啊,因为这个笔记呢是我做的,但是呢,对于大家来说可能不太熟,所以我希望你自己可以整理成笔记,至于你整理笔记是跟我这种方式一样也好,或者说你是画图呃,画PPT呃,画草图各种都可以,只要你自己能看得懂,能理解那就OK了,能听懂这个意思OK啊。
我来说两句