00:00
这个封装as层,那这个as层主要你们和谁打交道,就你们这个数据拿完之后给谁看呢?给前到位呢,来差不多要注一样,一般一个公司里边对吧,要是能看ADS层的人都不一般对吧,如果你要能把他搞定,要是个妹子你要把他搞定的话,对吧,就和你拿的复博通讯录其实差不多的,就是对吧,一般我跟你说啊,一般用ADS数据的人对吧,就是写什么呀,就是制定咱们这个公司规划的,一般是。对吧,比如说我现在呢,这个明年的业务目标对吧,那今年呢,我们对比前三个月前啊,这前两个季度呃,销售多少多少,明年咱们预计达到多大,达到多少多少多少,对吧,那么一般呢,这个是咱们这个对对公司的一些什么战略做分析的人都要拿这个ADS,对吧?那其实你想一想这个ADS数据,那其实是不是就直接从我们现在这个宽表数据,其实就可以把它个提取出来啊,对吧,那你说这个数据可能会很大吗。
01:01
应该不会太多啊吧,应该不会太多对吧?所以说呢,那么咱们现在这块我主要想给大家介绍什么呢?就这需求四啊,我主要想让大家对就掌握的知识点,第一个对吧,就是对我们整体啊,就是SSM对就处理的流程要加深一下,所以说呢,我这里还有一个发布查询接口,这是第一个知识点,那么第二个呢,那么咱们说我们再去从我我们的卡卡消费数据的时候,对吧,那么要保证它的一精准一次性消费对吧?那么要想保证精准一次消费,应该有两种方式吧,对吧,咱们现在是不是用的是第一种,第一种方式是手动提交偏移量,再加上密度性,第二种方式什么事物对吧?那我现在呢,想在咱们这里边带大家把第二种方式呢给体会一下啊,第二个方式给体会一下对吧,就是以后再什么的话啊,以后一说我这个金营的消费对吧,那在咱们这里这两种方式你都可以搞定啊,都可以搞定对吧?然后第三个是什么呢。
02:02
第三个就是我现在呢,这个发布完查询接口之后,那是不是得做一个这个展示的对吧?去展示到目前为止图形你们已经很熟了,对吧,你们直接什对着卡班呀,对吧,还有一些咱们什么对吧,这个这个怎么说你们用super super什么super是吧?哎,你们直接用super呀或怎么样对吧?或者咱们自己能对接啊,发布成插询接口啊对这些咱们都做了对吧,咱们思路都已经很熟了,但是呢,咱们想让大家看看效果对吧,这个效果什么的date v对吧,但是这个date v呢,我给大家讲不了对,我只能把这个视频,我这个上面讲的视频都要给大家,为什么呢?因为我买不起了。对吧,就datav原来呢,它本身的有个盖板对吧,盖板的一年对几十块钱我还能承受,我可以买几个对吧,现在呢,它有个企业的盖板,一年几千块钱是吧,我还跟公司申请一下,我说能不能报一下是不是是吧,但是呢,这公司说你先这个这个目前的这个东西大家可以申请七天。
03:02
然后可以申请七天,然后到时候呢,我会把这个视频给大家,然后大家呢啊,你们申请两个,这个申请是这个这个下两个东西啊,一个呢是data v对吧,去申请一个试用对吧,七天试用这七天足够你折腾了,对吧,其实这这个七分钟就差不多不用七天对吧?然后呢,咱们除了这个之外呢,你们到时候再去下载一个东西花生壳。是吧,这句话的下载花生壳对吧?对做内网穿透的啊,做内网穿透的啊吧,就是你干什么坏事是吧,那别人是吧,比如说我现在就想访问,说这个想做做公网是干点啥事儿对吧,那咱们现在本身做不了的,说老师我能联网啊对吧,你能联网对吧,就是现在如果要是咱们你要发消息的话,它也是以咱们当前整个这个上微谷这个这个大的这个局域网,然后对外边,比如说我现在是电信或者是联通对吧,他的一个宽带运营商,他对咱们整个这个大的局域网,他给两个这个公网接口啊,或者几个啊,看你花多少钱呗,啊可就咱其实我们这么多人,其实上网的时候,他在对外提供这个和外部交互的时候,其实真正的一个公网P可能就两个或者几个啊或者几个对吧,但是咱们现在可以借助谁呢?可以借助化式软件对吧来对吧,做一个内网穿透对吧,虽然说我现在对吧,我在这里我写的一个local host,但是我可以呢,对吧把它给我对吧发到公网去。
04:26
他帮你给你生成一个新IP是吧,但是这个东西是吧,原来呢,他需要什么呀,原来需要这个实名认证,原来最早的时候我在用的时候,他需要你拿着个拿着身份证看看,让你笑就笑,那你怎么宠就怎么宠,对吧,这样对吧,现在好像对吧,就是目前假如你要试用的时候,对吧,你好像花六块钱就可以把这个问题给解决掉啊,就不用这么麻烦了,对吧,到时候你可以试一试啊对吧,这块先大概整体先了解一下,呃,然后接下来呢,咱们还是看我们的需求吧,来看需求对吧?呃,我们现在呢,已经把订单还有订单明细对吧,这个数据呢已经拿到对吧,而且呢,我们把它呢放到我们这个click house里去,对吧,那其实除了这个之外呢,那还没完事对吧,那比如说我在统计的时候呀,那我还可以有多个不同的我们这个维度对吧,来进行统计,比如说我可以统计什么热门对吧,商品对,比如热门品类对吧,比如说交易这个。
05:26
用户的性别对比的交易,用户的年龄对比的交易,这个和它的一个省份分布对吧?等等,大家想想这些东西我要想去统计的话,我在咱们这里,我这个可令号或者双流照之后,这里边是不是都可以拿到啊对吧?什么商品呀,品类呀对吧?什么咱们这个用户性别,什么年龄段啊,什么手份这些东西我都可以拿到啊,我都可以拿到对吧?那我这里以谁呢?以咱们这个品牌为例啊,假如说我要统计咱们这个热门品牌啊,我要统计热门品牌对吧?那么统计完之后呢,你这个热门品牌你给我放在哪对吧?你统计出来之后,你专门啊给我再写一层对吧,放到我的ADS层去,也就说咱们目前同学们,咱们这个数据这个程序怎么走了对吧?我呢这边双流join,那么双流join结束之后啊啊双join对这个结束之后,那么我们呢,是把它放到我现在这个这这这这个到程序里边来了,对吧,在程序里边来,然后接下来咱们当前呢,在这个程序里边我又做了一个事儿,对吧,我从这拿吧。
06:26
呃,拿这个对吧,那我现在又做了一个事儿,对吧,什么呢,我是不是发布了一个五零接口啊,对吧,再到这里边对吧,我呢去对先往clean house里保存,对来这里我呢先往clean号保存,House就这个颜色。换个颜色。这个吧,我现在呢,把我这数据啊之后的数据,然后呢,保存到我们这个中,保到我们这里去了。
07:10
对吧,然后接下来,那么咱们现在呢,除了我的宝德克林号之后,对吧?那么咱们其实呢,还做了些别的事儿是吧?那你看咱们上节课做的上一个做的在我们这里,对吧?我们还发布接口了,对吧?发布接口那是不是要从咱们的house里边把那数据给查出来,对吧?所以说呢,其实除了它之外,那么咱们现在呢,还有一个什么呢?我们又发布了咱们这个数据接口,对吧?那么这个数据接口呢,那其实就是clean house里边对吧,把这些东西呢给查出来。啊,把这东西呢给查出来了,那么查完之后呢,咱们在这里给它做了一个我们的可视化啊从我的clean house查完之后,然后呢,咱们在这给他呢,做了一个我们这个可视化啊这做一可视化好了,那咱们现在呢,这是咱们前的功能,那现在呢都不行是吧?什么呢,说我现在呢,还得再来一层对吧?还得再来一层,那么如果再来一层的话,同学们现在呢,那从哪来划分这一层的对吧?那我是从可林号查对吧?这也不太合适,那其实我可以更灵活一点,因为有的时候呀,大家注意对吧?我可以干什么呢?我可以在我这里边就是把咱们这个矿表税拿到之后,然后呢,我交给不同的分析平台处理。
08:35
对吧,比如说交clean house啊,交给咱ES是吧,等等你看咱前面是不是把ES保存的呀,对吧,那这个时候如果再分层的话,那我这个分层的,那我们说对吧,那你得考虑对吧,那么应该对吧,把这个数据在哪来处理,我们的分层基本上是不是都在我这卡夫卡来做的呀,对吧?所以说呢,那你现在把这个数据拿到之后啊,注意先别着急找可号的钱,那怎么办呢?咱们呀再拿过去。
09:03
对吧,咱们现在呢,你直接啊,咱们现在呢,这个读卡卡读,然后呢,读这俩流来进行处理,那处理完之后呢,在咱们这里,我呀再去来一层。对吧,进来一层,那么这层是什么呢?这层啊是不是就是我们现在它的一个DWS呗,对吧,那其实就是DWS对吧,那我现在呢,你可以这样DWS,那么它里面放的是不是应该是我们这个order y对吧?这里面放的呢?那应该是我们这个order we,对,这是咱DWS啊它里面放的那应该呢是我们这个order we,对,就我现在吧,订单和订单明细合并之后的一个宽表数据啊合并的一宽表数据,然后接下来那你拿到咱们现在这个数据之后,那我要想干什么呢?我想做一个统计分析,对咱们聚合的结果,比如说我想统计对吧,咱们现在品牌啊,他这个维度,他的一些我们这个这个这个情况,比如说现要想统计一段,咱在在这里对吧,比如说热门品牌,你给我打过来。
10:08
对吧,热门品牌拿过来看下,这个热门品牌和你们离线怎不一样啊,和你们离线不一样,如果你们离线的话,同学们你们的热门品牌怎么回事,是不是应该是这个数据是冷的呀,就是我现在比如说我要统计这门品,你肯定统计说哎,我现在去年的吧,这个品牌top top是多少。对吧,前几个月的品牌投是多少,但是我们现在在统计品牌的时候,大家想一想,我能不能统计去年的没问题,对吧,我能不能统计咱们当前的呀,是不是也可以呀,为什么?因为这个数据它是不是还在源源不断的给我过了呀,对吧,你想一想,你要想统计的话,咱们现在这里面数据源源不断变化的,而且你就算现在处理,那你应该也是统计某一个时间点。然后哪一个品牌对吧,它的一个这个交易情况是什么样的,某一个时间点,就你这里什么时候统计,什么时候统计,什么时候统计的,你应该给我记住一下时间,因为咱们现在的数据呢,是源源不断过,不是说我是统计一个这个品牌就一条数据就OK了,不是这样的对吧?不是这样注要和离线的区别对吧?那如果说我现在要统计的话,那这个时候我这个从哪拿数据呢?我是不是要从到这一层来拿数据啊,对吧?从到这一层来拿数据对吧?那么如果从他这拿数据的话,那谁来拿呢?那你想卡不卡中读数据谁去读啊,是不是还是咱们SPA推程序啊来读数据呀,所以说呢,那么在那里咱们呢,得再去写一个我们这个程序,对吧?那么这个呢,比如说啊,那我现在呢。
11:42
就叫谁呢,我看看这个名字对吧,从这里我们呢,去把这个拿一个对吧,我随便写一个这个名字。往下走。改成C对吧,拿过来对吧,然后这个呢,是这其实我们这个叫order的这个不太合适了,对吧,咱们这里奥特曼它是写回到卡卡对吧,但是呢,咱们现在呢在这里,那么写完之后呢,那么咱们是不是得把这个东西到时候读出来对吧?所以说呢,我现在叫他对吧,这专门处理品牌的,这专处理品牌的对吧,然后在这里我现在呢,写一个这样的APP,那他去干什么,他呢去读取我们现在这个卡卡数据,把DWS,然后呢,我们这个order y对,他去我们这个主题里边去读数据去啊,他就拿这主题里边来读数据对吧?那么读完数据之后,大家想一想,那么我现在啊,把这些东西从这里边呢给读出来了啊,我现在把这数据从我这卡卡里边对吧,给读出来了,那么读完之后呢,数据量会很大吗?同学们啊,应该不会吧,对,你想咱们对我这个当年品牌做。
12:56
统计的话只是什么,只是你现在对吧,这个采集周期里的品牌的一个管理什么交易情况呀,或者什么情况,对吧,这个数据量肯定不会很大对吧,那不是很大的话,那接下来咱们再往下走,那这个数据对吧,你拿得之,那你肯定是不是得把它保存起来,那保存起来往哪保存呢?那你选呗,可令号咱们现在这里是不是用过,Eleven从们这里是不是用过同学们clean eleven咱是不是用过,Each咱们这里不是用过呀,也就是说我现在我要通过Spark streaming读数据,处理完数据之后,我现在可以保存的地方是不是有很多呀,H base可以保存来可以保存,Clean可以保存,对吧?这些东西跟你实际情况来选,不是说他们几个说说这个东西真好,我以一定好,不是这样的,对吧,如果以后你们对吧,公司里边用这个颜色你做过,如果你们公司以后用咱们的greenhouse你做过,如果以后你们涉及到维度和关联,或者说直接往H写,那么这块你也可以搞。
13:56
定是吧,那么咱们真正如果你要在做的话,你只选一个就行,对吧,你可以把这两个东西说说对吧,可以把这两个说,比如说我现在啊,对我这个做一个事项对吧,那我现在数据怎么做的呢?那你可以都是这样对你来search,然后这块呢,你也可以这样,你来设保证你来search对吧,来做咱们这个查询对吧,那接着这块呢,那再往哪保存呢?这块呀,再换个地方对吧,这再换一个地方对吧,我现在呢,要把它保存呢,我们这个关系数据库行不行,同学们。
14:30
啊,重点数据往观影数据库是不是也差不多呀,对吧,那我现在呢,就来往咱们的观影数据库上来去保存,对吧?那比如说我现在呢,就保存到我们这个MYSQL里面去了,对吧?把这个数据啊拿过来,然后放在哪呢?放到咱们现在这个MYSQL里边,对吧?那你说当前咱们现在MYSQ里的数据说其实就相当于我们这个统计完之后,它的一个我们的ADS层数据啊对吧,I as数据,那么你拿出去之后,那你要干什么呢?对吧?你要干什么呢?你是不是得给咱们这个分析人员用啊,对吧,怎么给他对吧?那你可以在这给发布一个查的接口。
15:13
对吧,在这里你现在拿在这里边保存到咱们这个买买soq里面去了,对吧?那么你现在呢,要想给他用对吧?那怎么办?你可以发布成一个我们这个数据接口,然后给分析人员用,那么分析人员呢,他可以直接把数据拿到对吧?那可以在咱们的可视化平台上用,然后呢,可以使用我们一些我们的可框架,对吧,比如说win,比如说咱们一个super set是吧,对吧,然后接下来,那么咱们现在呢,有可能也直接出现在哪啊,也有可能出现在咱们直接这个文档里边,对,就这个东西我可以直接把它拿过来,对吧,然后呢,我到时候可以我看一看咱们这个接口,到时候我可以直接就写到文档里边了,也有可能对吧,那这样的话,咱们整个的流程就完事了啊,整个咱现在这流程就完事了啊,就咱们现在在处理的时候,其实这块其实很灵活的同学们啊,其实就是很灵活的对吧,那我们现在重点那开始做的话,做哪块呢?那数据现在。
16:13
这个东西已经读到了,对吧,那读完之后呢,咱们现在从这读,你是不是往回写呀,对这个箭头又往往回来对吧,咱们这个这这个东西你是不是要在咱们这个写回到我们这个对吧,这个卡卡啊学的考卡,然后接下来咱们再有专门的内去读,对读完之后呢,往这写,注意啊,同学们,这东西我我讲这个这容的目的对吧,都是为了什么,咱们讲我们这精理的消费的第二种方式。对吧,而且第二种方式呢,这块对吧,也不要求大家一定要把这个代码给我写出来,对吧,我现在对吧,因为都是固定的嘛,对吧,因为都是固定的嘛,在实施里边这种方式其实对吧,这个目前用的相比较起来对吧,一般因为你想一想,咱们在这里可令号用的多一点,然后呢来用的多一点,对吧,然后呢,什么it,像这些呢,这个事物是不是都比较弱呀。
17:06
对吧,事物都是比较弱的对吧,所以说你现在要想使第二种方式,那你肯定保证我当年的事物对吧,那如果是事物的话,他这个这个处理能力相比较较较弱一些,对吧?那这块呢,就大家的理解了解一下对吧?好了,那么咱们整体这样的话,我现在把这稍微停一停啊。
我来说两句