00:00
好,下面的话我们来看一下这个框架版本的选型,这个框架版本的选型啊,就跟我们学这个Linux的时候啊,三套S对吧?啊三套S版本还有什么版本呢?还有这个苏C版本啊,还有谁像这个乌班图啊等等一系列版本,其实呢,它就是不同加公司去做。那像我们这个框架呢,我们这里面当前啊,用的比较多的就是阿巴奇啊,CD,还有ADP相当于三家公司。但是呢,现在哈,现在这个CH啊,已经把这个ADP给收购了。所以说目前就这么两家公司一个他那这个呢,还不是一个公司,它是一个开源组织啊,开源基金会,比如开源的这么两个,那好,那了解一下这个啊,这三班版本之后,那下面我们来看,那如何来选择这三家呢?阿帕奇它的特点呢,是属于这个运维啊,相对来说比较麻烦啊,涉及到组件之间的兼容性,需要调研,但是对于咱们来说哈,咱们学生来说,觉得这个阿坝吉相对来说更简单一些,为什么这样理解呢?
01:03
因为阿尔法吉你看咱们安装这个hiop安装这个啊,包括flink啊,这包括这个卡普卡主keepper啊等等,还有这个H好像用起来没有什么这个特别难的,就正常配置配置配置就完事了。哎,我告诉你哈,呃,如果你真正在企业开发的时候,老师不给你提前踩坑,那这东西你很难安装成功的。啊,尤其是假如说我现在给你个新框架啊,这个新框架叫什么呢?叫。安,让我让你自己安装,咱们班能有一半的同学安装上,那都是一个非常非常优秀的一个班级了,你就自己去研究,包括我在来的情况下,GRGR粉,FN。你去安装,安装的成功的人数应该在10%左右。50%都达不到哈,达不到,因为这里面在安装过程当中,它涉及到其他很多框架啊,尤其是它必须要求have在2.3以上。你百度也不一定能百度的明白啊,如果你这个不服的话,你可以自己啊,老师在讲课之前,你可以自己提前安装一下,你看你能不能安装成功,安装成功的话,我至少奖励红包十块啊。
02:09
所以这一块呢,就是压力很大啊,很多老学员呢,他一出去啊,自己这个,哎,一遇到新东西啊,就就就发懵,但是还好啊,好在哪呢?我其其实已经提前,呃,给很多老学员已经准备了N多个框架哈。比如说。呃,你们像你们日后啊,有些框纱是不不讲的,但是我已经给你研发完了,其实就是安装使用啊,比如说airlow iberry啊,什么kel啊,还有什么cast啊,House data Griffin啊,In catle。呃,Maxwell,包括再往下什么阿里云的实时的离线的,后面还有什么菲尼克斯am fair in DB nephfew century superide cycle,大堆框架哈,你们至少呃,还得有20多框架啊,至少20多框架哈,没学完。
03:00
啊,没有时间,真没有时间啊,因为我要是把这些所有都讲完的话,我初步预计预计了一下至少得十个月吧,所以这个没有没有办法啊,但是还好啊,上的三回谷呢,最好的就是服务嘛啊,你用到啥我就给你啥,而且呢,咱们这个笔记文档资料大家应该也也也见识过是吧?啊复制粘贴就能跑起来,所以说呢,这个也没有必要浪浪费大量时间啊,去这个不停的安装。那我们的特点呢,就是每一类型的框架,我们至少会讲一个。啊,每一类型的框架,比如说任务调度,我们至少要讲一个阿卡班,对吧,你像这个其他的还有什么乌z r floor那那个我就给你相应的这个质量啊,包括像这个阿帕奇CDH这一块,那这里面我们给你讲俩,讲个阿帕奇,讲个这个啊CDH,你要用ADP的,那我也有质量,我可以给你啊,那我不能说我再给你讲个ADP,我三个都给你讲,给你讲全了。但这个意义不大呀,对吧,啊意义不大啊,因为这个使用起来呢都差不多。所以说呢,这个阿帕奇啊,它需要你去调研这个版本的一个兼容性。
04:01
一般的就是大厂会使用,那另一个呢,另一个呢,就是上大会使用是吧,对吧?啊都属于这种大厂技术实力雄厚,呃,有专业的这个人员对吧?啊专业人员,呃,另一个呢,这个CDHDH的特点呢,它是那个国内使用的版本比较多啊,以前比较多。它呢,往往是一种Java,程序员愿意用它。因为Java成员对这个改这个阿帕奇这个底层配置啊非常头疼啊,而且没有这个技术实力,他喜欢的就是直接在外部界面上。啊,开一个网页,在网页上点点点点说安装那个安装那个一点就行了。啊,就类似于安装一个QQ啊,安装一个微信啊这种级别的一个操作哈,所以他们会愿意用这个,但是呢,啊很遗憾啊,非常遗憾啊,之前呢,还一直都是这个免费,但是呢,到今年的这个三是上个月吧,我看上个月是几月份。上个月末二月哈,二月末的时候就开始要收费了,而且呢,他对老版本的这个CP不再支持相应的兼容性的一个维护。
05:04
什么意思,比如说原来这个老版本的CD,它只支持到这个Spark Spark2.45。啊嗨,多呢33.0,那么如果他开始收费之后,你这个老版本如果再想坚持,比如说这个还托管已经升到这个3.2.1了。我升到这个之后,你这个不支持,你说你这个这套集群已经无法再升级了。那咱们直白一点,WIN7大家都熟对吧?啊WIN7那你听说过吧,那个WIN7之前说这个不再提供WIN7的一个漏洞的一个,呃,升级对吧,不再给你打补贴了,不再维护了。那你就自生自灭吧,如果出现一个超级的bug或者超级的病毒之后,那你WIN7就没法用了,就强制你去升级这个WIN7啊,升级这个WIN10啊,是同样的道理啊,同样道理。那而且呢,他现在呢,把这个HDP已经收购了,收购之后呢,他现在组成了一个新的组件叫什么呢?叫CDP。
06:02
就是新的一套框架叫CDP。开始收费,收费的标准呢?是一个节点,1万美金。你就说你用一台服务器安装了这个CDP,那么就是1万美金,你啥也没干呢,你要给老外1万美金的这个钱。那你想想,要搭一个1万美金,相当于是6万人民币吧,对吧?啊,6万人民币什么也没干呢,6万块钱没了,这才一台,你要买个十台服务器的话,60万没了。啊,服务器还没到手呢,就说光买这个版权使用60万没了,所以说目前呃这一块后面呃,会有越来越越多的公司淘汰这个CD啊,换成这个阿帕奇,这呢,其实也是一把一个好事哈,为什么说是一个好事呢?嗯,只有这个你淘汰掉这些Java程序员对吧,那剩下的你们大数据程序员不就上来了吗?而且呢,你去公司第一件事以后入职第一件事公司,哎,公司用的这个是C吗?啊是哈,那好,那必须我们要搭一套阿巴希。因为你不搭一套阿巴奇,日后的话,你这个数据量越来越大的时候,你在这个升级换换这个集群已经换不了了,对吧,这个或者越来越复杂啊,所以说这是你的生存价值,因为你们最熟的是阿坝奇啊,其实CDH呢,我原本是想大干一场的哈,嗯,咱们开发出来将近半个月的这个课程啊,专讲了一个CDH,包括我们后面那个项目实战,你说七八天的时间专门用相CDH。
07:23
而且把CD无论什么权限管理啊啊,还有这个key认证啊啊等等一系列功能哈,都做的这个非常完备了,突然间来了这么个消息哈,很遗憾啊,当然之后你们要用到这个相关资料啊,目可以这么说,上回五的这个资料目前是最全的,因为我是拿到了一家公司它内部的一个CD啊,它的一个开发手册啊,包括的一个实践应用手册。啊,那里面记录了这个,呃,C里面非常非常多的功能啊,几乎是所有的。但是没办法啊,没办法,这个现实很残酷啊,那再简单说一下这个ADPADP呢,它这个特点呢,就是它不是特别稳定啊,可以支持二次开发,但是不是特别稳定,国内的用的很少。
08:07
呃,国内已知的用的公式呢,就是这个金三。金三,还有是另一个叫那个洋葱数学。啊,这个企业兼职老师啊,他的公司啊,这么在用,而且呢,用完呢,也是被咱们老乡和兼职老师啊,啊各种这个吐槽。时不时的就崩溃了,突然间集群就大了。这性能不是特别稳定啊,用的最多的还是CDH 887以前最多的是CDH。但是呢,现在呢,由于收费,我建议大家呢,日后用这个阿帕奇。呃,同时呢,这里面还要注意的就是阿帕奇啊,嗯,咱们现在用的呢,都是讲的这个什么孩子2.7.2啊,还有是1.2.1,但是呢,咱们日后。新班已经全面升级了啊,全面升级成新版本了,升级哪些新版本了,给大家这个说一下啊。呃,三级这个Linux服务器变成三到S7.5。
09:00
系统的3.27.5,然后后面呢,这个像还会生成这个3.1.3。呃,买车口没动啊,买车口让他们变成5.7啊,5.6的话会变成5.7哈,Have的话已经变成3.1.2。还增加了这个he啊he。Spark呢,你们未来会用的是二,呃,之前是讲的2.1.3,呃,新版的已经变成了这个2.4.5啊,因为Spark呢最新版已经到了3.0以上了,所以说我们这里面讲的是这个不是最新的,但是呢是接近最新的一个比较稳定的版本,你说企业呢用的比较多的啊,这块呢要注意嗯,咱班呢不会从这个开头去用这个最新的,咱班会在什么时候呢?会你们在你们最后的项目实战啊,项目实战完全按照企业去做的时候,那时候呢会带着你们去买这个阿里云啊,然后会这个升级这个版本哈,新班的话会从这个讲哈度的时候就已经开始升了啊,甚至讲Linux时候就已经开始升了啊,这是有一个迭代的过程啊,我预计的话,今年这个呃,下半年的时候应该呢,这个各大公司如果新大集群应该就会有一个全面的一个升级哈,啊全面的升级,对啊,没事,在上规五学习的话,你们会拿到这个,呃,当前最流行。
10:10
呃,一手的这个资料啊,那无论是框架版本啊,包括这个企业的一些技术方案啊,啊,这是咱们的优势啊,像这次技术选型啊,知道我们日后要选择一个阿帕奇,因为CD现在是收费了啊,没收费之前呢,我们选择C点,收费之后呢,我们坚决选择这个阿帕奇啊。因为在中国人的特点里面,就是只要收费啊,就不可能去付费的是吧,或者付费的会比较少一些。那这里面还有需要注意的就是这个具体版本的型号啊,一定要记住,你们日后在企业这个面试的时候啊,这个面试官会问你选择阿帕奇没问题,那你用阿巴奇哪一个版本?那像咱们这市场里面呢,还多2.7.2啊弗1.7.0啊卡卡呢是0.1这个氦我给升级了啊,升成2.3了啊,没升到一步到位到3.1,这个2.3为什么升到它呢?因为是我们后面用的那个格瑞芬质量监控。
11:00
啊,这个框架的时候呢,它支持的最低版本是2.3。啊,最低版本是2.3,所以说呢,就把它升级到2.3了啊,这个是1.4.6买SQ这个啊,目前这个是这版本啊,这个这个提出了一个问题,你看啊,日后我们比如说再出了一个新框架,格林森,那你这个CDH。CDH什么特点呢?他是要他告诉你这个CDH这个是呃5.12.1,那么他已经帮你去解决这个兼容性问题了,他配套的是还2.6.0,跟Spark1.6它是配套的。跟1.6啊,跟那个1.10看,不需要你去调研这个兼容性,你只要正常安装就可以了。啊就可以了哈,所以说他帮你解决的是兼容性问题,同时呢,这是在web页面。进行配置一键式搞定啊,节省你这个安装时间,但是呢,对于我们程序员来说,阿帕奇我们也可以做到这个半天之内啊,把所有的这个框架进行打起来,而且没有任何问题。
我来说两句