00:00
我们来对比一下。嗯,从这个clearhouse映射1诺基地。然后还有这个从满口直接查。我们来,我们来看一下这个两个性能哪个比较好。啊,我这里呢,继续沿用的是这个买DB的一个数据源,还有这个他们提供的circle。啊,那好,那我们现在我的数据已经导里头了,然后我们现在就可以开始查了。嗯,这里呢,还是我介绍一下环境,还是三张表。我其中这张表呢,是还是比较大的,3800万啊,这是印度的币。然后,然后我们现在呢,就。把它那个circle给复制下来,然后我们开始执行。啊,然后这里呢,时间是比较慢,然后我先暂停一下,然后等到时候执行完了以后啊,我们来看一下它那个时间。
01:06
哎,好,那个现在执行完了啊,嗯,总共花费的是5分18秒。然后呢,我们呢。到这个。号这里的。看一眼他这个世界。然后我这里呢,我把我的表给介绍一下,我这里呢是映射了。嗯,MYSQL啊,你看一下这表结构,你看这是我的引擎映射的是这些。啊映呃,做的一个映射,相当于做了一个表的超链接,然后呢,我们就开始来执行。我们看一下他的时间。
02:00
啊到呃,等他执行完以后呢,啊,我把它这个呃,大概的一个原理啊,我给介绍一下。啊,他这个怎么做的映射,然后他怎么去查的。啊,这里我们先等它慢慢跑。嗯,大概是30秒啊左右就能执行完。啊,31秒啊,157行。我们看下这个啊。啊,它这个数据都是一样的啊,我们来仔细看一眼对吧。然后呢,这个呢,我顺便把这个执行计划给大家看一眼,因为这是官方提供的啊,所以说索引什么都创建好了。嗯,等会啊,我加一个一个plan。啊,你看我现在这个索引基本都跑上了,因为这是官方的索引都给建好了啊,所以说所以说在特DB里直接查它,它需要很慢5分。
03:11
18秒,我把这个记下来啊。就是这个啊。然后从那个呃一动DB做的映射。嗯,是31秒钟。啊,刚才我那个表结构,我我已经给给大家看了啊,再看一遍吧。啊,你看这是我做的映射啊,我都给它写在这。就是做的,呃。这个clearhouse映射这个in DB啊,这是这使使用的这个MYSQL表引擎,然后呢,第三个呢,我说一下它这个内部原理啊,我这里是把它那个MYSQL通用通用日志给打开了,然后我们看一眼它是怎么执行的啊。
04:02
你看刚开始我是在这块啊。执行在那个clearhouse里头开始执行,他先执行这个,你看没有,他现在把这个数据给搂过来。相当于哎。你看。大家相当于先把这个呃,印度DB买所有的印度DB这个数据拉取到这个本地,放到一张临时表里头啊。你看包括这个。他先拉拉取两张表。然后呢,在它那个内存中做的一个聚聚合运算。啊,这就是他的大概的原理,所以说呢。啊,我们通过这个对比呢,啊。所以说得出的结论呢,还是clear house映射印度DB引擎,这个速度是比较快的。那假如说。
05:00
最后来说一下这个使用场景,那比如说一般来说的话,这个。嗯,BI数据报表,他们一般是凌晨他们会做一次跑批,一般就跑一回,像类似于这种啊,因为执行频率不高的那种色口。啊,我们可以用这个clearhouse映射啊,这个引映射MYSQ这个引擎啊,我们来实现啊,这样的话呢,你也不需要去优化一些嗯呃,线上的circle口了,然后呢,也不需要你创建索引了,所以这种方式呢,会大大的提升提升你的一个性能。啊,我们这里呢,嗯,直接从印度D里查是5分钟啊,映射完了以后是31秒啊这个嗯,很直观的就看到了。然后呢?那么呢,就是怎么能让业务那块不用改代码呢?那么这个clearhouse呢,它提供一个MYSQL啊买MYSQL协议,它默认端口号呢是9004。
06:05
啊,我我这里给大家看一眼。啊,这个9004就是MY。买circle的一个协议。那这里呢,它的配置文件里呢。啊也标注了啊,兼容买SQ协议啊端口9004。然后呢,这里呢,我们只需要创建一个账号就行了。那账号呢,就是按照我这个两条的这两个命令,首先呢,先生成第一个加密后的密码。我们执行一下啊回车,然后呢,这个是加密后的密码,原始密码呢,就是123456,然后呢,我们只需要把这个啊。啊,一执行一个这个。
07:01
然后呢,相当于这个密码账号密码就创建好了,然后呢,我这里呢,是给大家看一眼,我之前已经创建完了。啊。这个呢,就是。啊,这就是我刚才这个密码啊。呃,只需要你看一下这个,它是用的这种的,呃,密码认证模式啊,就double a1啊,跟我们那个普通的这个老师是不一样的。这里是要注意一些,然后呢,我们怎么连接呢。然后呢,我这里呢,是写了一个Python脚本啊,我这里只需要指定这个端口号,然后账号密码,刚才我们创创建账号是BI,密码是123456,然后呢,我这里给大家连接一下。
08:06
啊,我们这个数据就出来了。啊,所以说呢,到时候呢,你把这个账号密码给那个那个BI那边就行啊。是用户名是B,密码是123456,端口是9004啊通过这种方这种方式,嗯,就可以让那个研发那边一行代码不改。就是可以加速啊BI报表。那今天呢,我是把这个clearhouse啊,怎么映射MYSQL这块啊,给大家演示完了。
我来说两句