00:00
好,上节课啊,我们已经明确了我们这个项目当中要做哪些需求。那接下来的事情就是我们具体为了满足对应的需求,我们应该怎么做?对吧,哎,首先我们面临的第一个问题就是技术的一个选型。对吧?我们到底要选择哪些技术框架来解决掉我们对应的问题,那首先我们来看一下。第一个问题,技术选型当中我们要考虑哪些因素呢?这是一个原则性问题,哎,必须要会,首先我们要考虑的就是数据量的大小。为什么要考虑它呢?大家思考的问题哈,如果说我们的数据量非常庞大,那我们肯定是要用hi do当中的HDFS进行数据的一个存储。如果我每天的数据量就几兆的数据,我就不用ATS了,我用MYSQL是不是也能满足我们对应的需求啊?这是没有任何问题的。所以说数据量决定了我未来技术的一个选型。
01:00
OK,那再往下思考,下一个呢是业务需求。那业务需求会怎么影响呢?大家思考一个场景哈,说我们公司提出这样一个业务场景,说我算这个指标必须在几秒钟之内。就把对应的这个结果计算出来。比如说像阿里那个双11那个大屏实时显示计算的交易额,那他要求的这个时效性啊,就非常快。那还有那再思考,那么如果我说我统计一个指标啊,我需要说十分钟也行,甚至啊,你这个一个小时之后给我也可以。那这个我选择的框架就没有那么紧了啊,我选择一些普通的框架就能满足对应的需求,那你像那个时效性非常这个的,那我对应的框架必须得像这个像flink啊,Storm这些框架来对应的解决,那如果这个是比较统计的比较慢的,那我可以用的就更多了,那我可以用这个像这个have啊啊,甚至我可以用这个像Spark呀,啊一些批处理啊,都可以解决掉电的问题。
02:03
哎,所以说不同的业务需求也决定了你对应的技术框架的一个选型。那再有说行业内的一个经验。那比如说你像阿里内部对吧,他使用实时处理,他用flink,那么这个京东呢,他也用flink啊,美团也用flink,哎,各种一线大厂都用link。那问你个问题,那你要不要用flink呢?那很显然各个大厂已经把这个技术啊啊已经调查清楚了,用这个flink没有问题,能解决对应的实时统计问题,那我们当然我们也用flink。对吧,诶这个是行业内经验,那还有像这个技术的一个成熟度。那比如说现在我们这个舒仓啊,叫舒仓啊11.0啊舒仓1.0,那这个在舒仓基础上呢,有个叫中台不道大家听没听过。再往上呢,有个叫数据弧。啊,数据库。什么意思呢?哎,在搭建数仓统计分析的时候,我们正常搭建的是普通的数仓,在数仓基础上也还有个2.0,也就叫中台,通常是大厂一般用这个。
03:07
那还有这个数据弧,那数据弧啊,它就属于这个不是特别成熟,目前呢,企业里面用的比较多的解决数据问题,就是这个护底。还有这个IC bag,以及呢那个呃,Data这么三类框架可以解决对应的数据库问题。但是成不成熟呢?每一个框架都不到1.0。各个大厂呢,也都在这个调研阶段。那你要不要用呢?哎,真正在这个核心的生产线上,大家都没有用这个数据库来解决这个问题,目前呢,都是拿一些这个辅助的生产线,或者是一些测试集群来进行调研。哎,所以说这个技术成熟度啊,也很重要啊,那对于我们这种中小型企业来说,通常我们是要等这个大厂,它已经调查差不多了,那这个时候我们拿过来用啊,是比较合适的哈,好接下来我们来看一下开发维护成本这一块,那比如说啊,我们购买这个阿里云服务器买一台。
04:01
那一台需要多少钱呢?一年啊,假如说我们买的这个配置啊,是一年呢,是5万块钱。大家觉得挺贵的对吧?哎,我买一台物理机。同样的配置也是一台。哎,我这。五年,我一共这台设备啊,是5万块钱,但是我能用五年,记住啊,我能5万块钱,我用五年,但是这个呢,我只能用一年。你从这个对比来说,那肯定说这个阿里云要贵一些,它便宜一些,是这样吧,那大家都去买物理机了吗?哎,不是这样的,你要考虑的是这个维护成本这一块。你想哈,这个物理机如果你买的台数比较多,假如说买到20台甚至30台,那你就需要专业的这个运维人员。哎,专门一个人来维护这些设备,而且你还得有对应的机房来存放这些物理机。对吧,那在北京这种地方,他的这个房租也是比较贵的,同时你还要给他买对应的这个风扇来进行降温,那否则的话呢,他过一会儿啊,运行一一会儿它就会过热保护啊,所以说你不光要考虑这个第一次购买这个成本,你还要考虑后续的一个维护成本。
05:07
这是开发维护成本。再来呢,就是这个总成本的一个预算。比如说你们公司到底总共给你预算多少钱?对吧,哎,之前呢,咱们有一个学生啊,啊去企业里面啊,对方呢,呃,项目经理说,哎,我们公司不差钱啊,你给我列出这个,呃,1233套方案啊,这个一个购买的一个方案,那比如说当时我们出了一个啊购买15台服务器,还有一个购买十台服务器,以及呢,购买三台服务器。啊,这么三套房。那开始他吹的很厉害,说我们这个不差钱,那结果呢啊,一审批的时候,最终只买了三台服务器,那三台服务器正常,我们标准的服务器配置是128G内存,结果他只买了一个三台16G内存的服务器。哎,所以说这个成本很重要哈,不是说项目经理说啊,这个不差钱,其实呢,他也要跟公司进行一个申报,那大领导说这个东西我们先来16G的这个三台服务器先测试一下。
06:02
对吧,哎,这也是很正常的,所以说这块呢啊,我们也要考虑进去,行,那我们后续啊,在进行技术选型的时候,要从这个这么几点进行一个啊认真的去考虑啊。
我来说两句