00:00
好,接下来呢,我们来看一下,哎,我们本套项目当中框架版本的一个选型,首先我们来看一下,就是框架发行版的一个选型。那还记得吗?我们在讲hidoop的时候说我们的hi杜op的发行版本啊,包括这个阿帕奇的CDH以及HTP对应的发行版本,对吧?哎,这是我们在之前啊讲解的时候说过好。那我们的框架发行版本呢,我们这里面一共分为两大类,一大类呢,叫曾经的免费版本。比如说以前呢,他不收费,这一套框架随便用。对吧,哎,这叫开源免费的,那还有一类呢,叫云服务的一个选择。比如说我们可以不自己开发,直接购买成熟的这种啊,全套的金融架构,比如说呢,当前世界上比较流行的阿里云啊,Em Mr全套的啊,一些技术架构,那里面包括像hi呃,Spark,卡普卡啊等等都有。所有的组件,还有呢,像这个ma computerms,它把一些哎开源的一些框架封装在一起之后,哎统一的对外提供服务。
01:07
啊,像还有其他的。那么这么两大类到底什么区别呢?哎,简单直白一点就是上面的免费,下面的收费收钱。那对于我们开发者来说,怎么来选择呢?那其实呢,取决于公司的一个经费情况,那好,那下面我给大家详细叙述一下哈。首先来看啊,如何选择这个阿帕奇CH还是P啊,那咱说它曾经都是免费的版本,那这里面有一个曾经二是吧,那给大家介绍一下里面的一些故事哈,首先呢,看一下这个阿帕奇版本。它呢,是这个开源免费的,可以随便用啊,至今也不花钱。对吧,这个中国人呢非常喜欢,那它呢是运维相对来说比较麻烦一些,组件的兼容性啊,需要自己去调研。比如说我们在前面学这个doop的时候,我们用的是hidoop3.1.3对吧?哎,我们学这个主keepper的时候,哎,我们用的是3.5.7。
02:07
然后我们还用到了这个,像have。对吧,哎,3.1.2,那么他们之间存不存在版本的兼容性问题呢。哎,其实是存在的,也说不一定说这个hi多,Hi多3.1.3和have3.1.2是兼容的。那怎么办呢?诶,这个需要你自己去调研,哎,但是呢,大家不用担心,哎,上硅谷呢,咱们推出这一套这个系列课程啊,所有的框架兼容性问题都已经帮大家去解决完了。哎,甚至有一些这个代码呢,我们是啊,重新修改了几处之后,重新编译的源码。啊,咱们虽然说商务五啊,这个名气不大啊,但是技术实力呢,这块呢,还是相当可以的啊,咱们把整个阿帕奇这一套所有的技术框架全部兼容性打通了,那后续呢啊,都会免费的开源的提供给大家啊好。那行,那往下看,那这套阿帕奇框架谁来用呢?通常情况下是一些大厂愿意去使用,因为他们的技术啊,实力比较雄厚。
03:05
啊,需要专门的运维人员,好多大厂在这个开源的框架基础上进行一个封装使用。二次开发啊好,这是这个啊,也是推荐大家去使用的哈,那接下来再给大家介绍一下这个CDH和HTP这两个方架,这两个框架呢,咱们来讲hi度的时候啊,也给大家简单介绍了一下,对吧?CH呢,它是cloud这个公司哎,他发行的一个hi度版本。啊,他最开始的时候也是免费的啊,但是并并不开源啊,不开源,但是是免费的,呃,给这个开发者呢,可以免费的使用。那他免费到哪一个版本呢?免费到6.3.2这个版本。之后就不再免费了,尤其在今年年初,你想拿到免费版本的安装框架架包。拿不到了。啊,那怎么办呢?你只能如果在这个今年之前。
04:00
你提前下载了对应的啊,这套这个呃,框架安装包,那你可以啊,用以前的安装使用这是没问题的,但是你从它官网上已经不再给你提供下载服务。这要注意啊,而且他又推出来的新的框架已经开始收费了。那什么框架收费的呢?给大家说一下这个历史,咱之前说过这个HDP啊,后来跟这个CDH合成一家。GDP又是什么样的公司呢?是那个hoton版本。它呢,最开始呢是可以支持二次开发的,比如说给你提供源码,可以在它基础上进行重新编译啊修改都可以,但是它相对于CDH来说呢,不是特别稳定,之前在国内使用的相对来说比较少啊,所以说呢,后面呢,这两家公司啊,合二为一,成为一家公司。成为一家公司之后,他们的目标是什么呢?诶,目标肯定是为了挣钱呢,哎,那他们就推出来了一个新款产品叫CDP。CD。
05:00
这么一个产品,那么这个产品就是全程收费,连测试版都不给你提供。啊,一般的叫CDP7.0开始。啊,那目前在国内,呃,我的数据当中啊,啊,只有一家公司在用,那就是这个比亚迪。哎,他买了100多台,那这个怎么收费呢?这个收费的价格非常高。一个节点每年是1万美金。那你如果是100台服务器的话,那就是一年要100万美金。给人家公司了版权费。这也就是人家什么也没干,就直接从你身上就拿100万美金。啊,这个确实啊,对于中国人来说啊,受不了啊,所以说呢啊,建议大家呢,可以使用这个开源免费版本的阿帕奇。不花钱免费使用,而且呢,咱们上大啊,已经把全套的这个兼容性问题全部解决了,那大家后后续需要的话都免费给大家啊好这是这块。这是这一套系列,你说曾经的免费版本啊,我们可以这样选择,那接下来那云服务的一个选择。
06:02
你说啊,我们公司有钱啊,但是呢,我们技术实力这块呢,稍微要弱一些啊,也可能呢,是为了赶工期,我希望尽快的这个把这个大数据这套架构搭建起来,那这时候呢,建议大家可以买这个云服务。那市场上比较主流的云服务有哪些呢?哎,首先在国内那肯定是首选阿里云。它相对来说各种云它都是成熟比较比较成熟和好用的啊,市场份额呢也是比较大的,那比如说阿里云里面有一套emr系列,那什么叫emr呢?并不是我们说的那个里面那个MA6啊,它的em Mr是增强版呢啊,这个数据分析啊,那它能干什么呢?记住你这阿帕奇或者CDH里面开源免费的这种所有的组件在这里面都有对应的组件。比如说你这里有海度卡对吧,我这里有,你这里有,我这里有,你这里有卡卡,我有卡普卡,哎,你这里有JK,我这里有JK。那有什么区别呢?你看吧,你阿帕奇版本的,你要搭建一个嗨多集群,你需要做集群规划,你需要这个考虑他们之间版本的兼容性问题,对吧?嗯,而且你还需要自己去亲自去安装。
07:11
对吧,那这个需要一定的时间,而且需要一定的技术功底,那如果你购买的是emr这套框架。其他选省了,你只需要在一个网站页面上选说我要购买三台海度房,我要购买三台flu,诶三个卡不卡,哎,一个主keepper。然后在外面选了之后点一键完成。之后他就会给你分配三台这个服务器,然后把这些组件咔咔全部部署完毕。自动化完成。对吧?哎,这就是他收费的原因,它省去了你在搭建集群过程当中遇到的一些兼容性问题,以及部署的一些问题。全搞定啊,他收的是这部分费用,那当然了,还有一套呢,是它独立于你这一套em Mr又来了一个自己的ma computer以及。
08:03
啥意思,比如说这个computer啊,它集成了像hiop。主keepper have啊,没有主keepper有这个hadoop和have啊,还有像scoop等等这种。调度功能。他把多个框架的功能啊,糅合在一个平台框架里面,统一帮你提供服务。哎,这个呢,好处呢,就是相当于是啊集中管理啊,效率更高一些。也省去了框架与框架之间的一个啊,数据的一个传输。啊,这是这一套平台啊,啊,在这个阿里云这个大学官网上啊,是由我录的啊,这个全套的这个视频啊,有这个基于阿里云的离线舒畅,还有这个实时舒仓啊,这里面都有这个讲解啊,这里面就不再赘述了,嗯,那下面我们来看一下这个亚马逊云,那它是全球最大的这种云服务。它呢也是跟这阿里云类类似的这一套啊,它也是可以在外部页面上去选择卡普卡啊,选择多少台啊,然后呢,呃,怎么部署都可以直接选完之后一键完成。
09:03
就搞定了啊,这一系列云产品都是这样的,那包括呢,在国内呢,还有这个腾讯云以及华为云。那咱们其实啊,呃,给大家准备的资料当中啊,有阿里云的,有亚马逊云的,有腾讯云的资料啊,这三套云的资料呢,呃,如果想要的同学啊,都可以免费给大家啊,但是这个华为云呢,呃,因为它华为云是最后加入到这个,呃云服务的也是最后产生的,它的市场份额相对来说呢,是非常非常少的啊,当然了我们也希望支持国货,但是这个华为啊,确实它呃市场要晚一点啊,后续呢,我们如果有时间的话啊,也会给大家再研发一套啊基于华为云的啊,这套一个。呃,云服务的一个使用啊。好,那行,那这就是框架包的选型,那我们从目前的市场来说啊,在国内啊,主要选择的这个啊方式呢,以这个阿帕奇为主啊,另一个呢,就是以这个阿里云啊为主。当然目前还有一些个别公司啊,还在选择这个CH,原因当然说了,他虽然说收费,但是你提前下载的,比如说一年前或者两年前下载的这些安装包还是能用的啊,但是呢,说实话我在这里面呢,不建议大家去使用,为什么呢?它是一步一步的收紧。
10:15
啊,一步一步的收紧,以前呢是开始免费的,后来呢是不让你下载啊,之后呢,又开始推出新的这个收费版本,那最终他早晚有一天它是要收费的,那那个时候如果说你大量的数据已经部署到这个cda继器上了,然后他收费限制你,甚至你只要一联网直接把你这个。就是开始给你谈一个收费的窗口。到那个时候那就比较麻烦了啊,所以说建议大家呢,用这个阿帕奇或者阿里云这种收费的啊,根据公司的自身的一个经济情况来选择就可以了。
我来说两句