00:00
好,那接下来呢,我们看一下具体的一个流程啊对,想象一下啊。小丫丫他自己动是吧?呃,然后呢,这个DWS呢,我们已经把这个轻度聚合按十秒钟吧,十秒钟做一次这个纵向的聚合,对吧?啊保存到克里里边了,主要是供实时查询的啊,一般两种。方式一种呢,面向专业的数据分析人员的一个BI工具,这种呢,往往要写这个。往往要写搜狗,你总不能要求老板写搜狗吧,所以是面向非专业人员,更加直观的数据大屏,直接把这个结果跟我们同行的展示出来。对吧,另外一种呢,就是公司当中有这个BI部门,你可以写这个circle去访问啊,我们呢,用说这个昨天大家注册了吧,昨天最后我跟大家说了,最好大家去。注册一下对吧,去注册一下啊好,那这块呢就搞定啊,最后中的图呢,你先不用管吧,这里边反正大家知道有很多图就行了啊啊那接下来我们整个的流程是这样子的,首先呢,我们前面已经写完的这个real time模块,它呢从ods DW ddws对吧,一直都用flink计算写到这个。
01:17
啊,数据在这儿对吧?呃,实时的写入的,那另外呢,我们sugar要做这个可视化的一个展示,对吧,那我们要有中间有一个数据接口,它呢,调用这个周期性的调用数据接口,而且我们说了它最快的频率。最快的频率是十秒,所以前面我们开窗是十秒嘛,对吧?嗯,对于实时里边来说是其实十秒。时效性比较差。对吧,但是呢,我们用的这个书,它最快的刷新频率是十秒。那没办法,所以呢,你前面再快。你最终在这边你也看不出来呀,对吧?啊,那我们要写这个数据接口,数据接口呢,通过JDBC去查询这个课列号的数据,对吧,那这样的话,我们sugar就可以拿到颗house里边的数据,然后呢,做一个展示啊,其实这中间呢,还差了一个环节。
02:09
啊,还差了一个环节,呃,为什么呢?因为你想啊。说这个东西啊,是百度的,你直接联网的,也就是说它是属于外网。对吧,那我们科里号在虚拟机,我们这个数据接口呢,我顶多写在ideal里边。对吧,写在idl里边我就不打包运行了,因为后面一个优化呢,我们会把这个相关东西打包去运行啊,这个项目呢,就不打包了,你打包对你的虚拟机压力更大了。对吧,本身虚拟机可能给的内存就不够啊,最后呢,你这个资源肯定跑不起来,所以呢我们就不打包,但是呢,后面我们再讲优化的时候,呃,会打包运行很多代码啊,那个倒还行,那个呢,我们就直接一个代码一个代码去运行嘛,啊打包到集群,因为我们要去找问题啊,对吧,就集群上出了问题怎么解决呀,那个是需要给大家演示的,这个项目呢,我们就不做打包了。
03:04
啊,因为打包大家运行不起来啊,其实我们这个项目可以打包到机器上啊,因为太多了懂吧,啊虚拟机就运行不起来,好,那无论你这个东西呢,在虚拟机还是在idea不重要对吧?呃,但是这个都属于我们什么内网。在我们个人的PC机上面对吧,好,那内网呢,我们可以直接访问百度啊,这些东西没有问题,但是你想想看,在外网它能访问到我们的接口吗?那你看啊,这个数据接口,你你说我们正常访问的时候,它的主机名是什么?就假如你自己写了一个web项目,对吧,运行在你的Windows上面。你就访问这个。外部项目,那你说我们用的这个。Host主机是什么呀?
04:03
对,默认的。默认的local host对吧?啊默认端口呢是8080。对127.0.0.1没毛病,对吧,Local host是不是这样子的,那你觉得我一个外网的内容,我去访问local host。你觉得他可能能访问到吗?对吧,他怎么可能访问localho,如果说外网能够访问到,好,那有一个问题,你写了一个,我写了一个,我俩都叫localho,那他访问你的还是访问我的呢,是不是就出问题了呀,对吧,他肯定访问不到局域网嘛,所以这中间呢,还有一个东西,这中间相当于还有一个代理。啊,你可以把它认为代理。对吧,其实这个东西呢,叫做内网穿透。就是相当于给我们内网一个外网的地址,公网地址,到时候我写完代码以后,你拿着这个。内网穿透,到时候我给他一个地址,你坐在你家里,你照样能访问我的电脑。
05:04
啊,就是我写的一个项目,你可以用。懂吗?你可以用啊啊,那也就是说,如果我一直开着,我一直开着对吧,那你写完书之后,你写我的地址。诶,你那边跟我看到的图是一样的。啊,对吧啊,但是如果说我不加这个内网穿透,那就不行,所以这个图当中呢,我们跟他说一下还缺这一点东西啊,这边呢,会有讲内网穿透,但是这个啊,这个里边我们之前用的是阿里的钉钉做的,阿里钉钉呢,现在不给用了。现在不给用了啊,没关系啊呃,文档呢,我还没改,因为我又改文档,你们又改不了对吧,咱们又不是实时同步的啊,这边呢,等会儿告诉大家又找了一个新的工具啊,早上才早上,我也是早上才安装的。啊,我也是早上测了一下,发现呢,钉钉的那个用不了了,他给关闭了啊,他不让用了啊,不让用了,所以说呢,咱们就用不了了,我就就找了一个工具嘛,啊,这种工具比较多啊,太多了,只不过说找一个比较好用的免费的啊,之前我我有一个工具还还花钱了,但是呢,还不好用,它不稳定。
06:10
啊,就是有时候课堂上测半天你知道吧,测半天,但是这个呢很简单,嗯,一分钟看新手教程那就搞定了,我早上就按照他配了一下,没有问题,我测了一下啊,早上我稍微测了一下,没有问题啊,等会儿呢,跟大家说这个东西怎么弄啊,好,那这是我们整个的一个执行的一个。流程。啊,执行的一个流程好吧。
我来说两句