00:00
好,那跟电商相关的业务啊,我们介绍完了之后,那接下来我们还要回到我们的这个正题,哎,如何来进行业务数据的采集啊,那好了,那业务数据我们是存储在哪的呀?哎,是不是存储在my circleq上的呀?好,那业务数据既然是存储在MYQ上的,那我们要要想采集my circleq上的业务数据,第一个事我们要干嘛呀,是不是就要安装一个买circleq数据库啊啊,那接下来我们安装一个买circleq数据库,那安装my circleq数据库,我们就要把相关的包,哎给它拿过来啊,来到呢我们的资料当中,在这资料里,哎,买circle这里啊,一共有六个包,这个12345啊,除了这个之外,这还有一个,哎这个买S的驱动包啊,把这六个拿到我们的项目当中啊,来到102这。
01:00
关了。来到102,好,然后CD-OPT software进来之后,我们给他拿过来啊是五啊六个六个包拖拽好。稍等一会儿啊啊一个一个的上传过来好了,那完事之后,接下来我们就要开始安装了啊,那怎么安装呢?看这啊,那么在安装之前,首先我们要先把之前的这些包啊给它卸载掉,卸载掉跟my circle还有marin DB相关的这些安装包以及依赖啊那我呢,直接就给它卸掉,OK,在这右键粘贴回ER啊给它卸载掉,好卸载完了之后我们呢,就要开始一步一步安装了,但是在安装之前啊,如果说你用的是这个阿里云的服务器啊,那可能我们还要安装一些依赖包啊啊这三个依赖包诶给它安装上,那安装完之后我们就可以安装我们的my circleq了,那安装我们的买circle呢,我们这儿一共有12345,看啊这有123455个啊,那这五个呢,我们依次来给它安装,好好,那先来第一个。
02:21
变量复制拿过来在这儿右键粘贴啊,第一个再来一个啊,第二个CTRLC右键粘贴,第二第三个CTRLC拿过来右键粘贴,第四个CTRLC拿过来右键粘贴。好,然后第五个啊,第五个比较慢啊,OK啊,在这儿右键粘贴好,那它有点慢,让他先安装着,那这也有一个提示,那如果说我们安装的时候啊,它报错了,哎,原因有可能是因为我们这个亚M它的版本过低导致的,那怎么办呢?哎,我们对应呢,执行一下这个命令啊,那如果说没有问题,那就算了啊好。
03:10
OK,我们等它安装完好,那安装完了我们呢,启动一下myc口啊,这速度啊,启动来这右键粘贴啊,启动start my circle好。啊,稍等一会儿啊,他正在启动,第一次启动有点慢。诶,启动完事了,那完事之后我们也可以查看一下它的状态,S staus,就是查看状态啊,Active and running,它是一个绿色的,那如果说这是红色的或者是黄色的或者黑色的啊,就有可能是有问题的,那或者这不是running,那它就有问题了,好,那接下来我们要登MYSQL数据库啊,那登录my circleql数据库,我们用的都是my circleql-u root,然后来一个密码,那这个密码我们现在还没有,哎,没事,它呢,给我们一个默认的怎么初始的密码啊,CTRLC给它拿过来,拿过来CTRLV右键粘贴啊,粘贴过来之后,那密码是谁呀?哎,密码就是冒号后边的这个,这也就是密码啊,那这个密码有同学说老师啊,这个密码我记不住啊,确实这个密码我也记不住,那怎么办呢?我们给他修改一下就完事了呗,那先登录进来啊,买circleq-U。
04:35
Root用户名是root啊,密码杠P,那密码注意啊,它现在是什么呢?这是一串哎,带特殊字符的密码,那我们要加一个单引号啊,如果说你不加单引号的话,那它就会报错,报一个什么错呢?告诉我们这个密码不对啊,有特殊字符的必须要加上单引号粘贴,粘贴完之后回车,你看它进来了,那进来了之后,那修改密码呗,啊,我们修改密码啊,那我们一般都想让它是什么呀,是不是六个零啊,给它改成六个零啊,哎,六个零比较好记,然后右键粘贴回去。
05:16
诶,他是报错了,说什么呢?他说我们这个密码啊,哎,它不符合我们密码的这个策略啊,那第一个事儿我们要干嘛呀?哎,要先修改一下我们密码的策略啊好,那来呗,那修改密码的策略啊,来我看看啊,这个行不行呢?CTRLC这是修改密码策略的命令,我在这儿右键粘贴啊。啊,你看他成功了,那这是什么意思呢?设置一个校验,校验谁呀,校验我们的密码长度是四啊,意思是我们这个密码长度可以设置成大于等于四位的密码,那再有一个。这个设置一个啊,密码校验,这是校验谁呢?校验一个密码的策略,哎,给它设置成零,那这个什么意思呢?零是最低级别的,你比方说我们可以给它设置成单数字的,或者是单英文的啊,单字母的啊都可以。
06:18
那如果说我们给它改成一的话,那有可能就是数字或者英文的组合啊,那如果说我们给它改成二,那可能就是数字英文大小写的组合,那改成三呢,数字英文大小写特殊字符的组合,那你这个给它设置的级别越高啊,设置的这个数它越大呀,那它对应的级别就是越高的啊好,那我给它设置成零最低级别好了,那完事之后,接下来我们再次来设置一个简单的密码,六个零,右键粘贴啊回去你看,那么现在我们买circle的密码就是六个零了,好,那接下来你看我们干嘛呀,我们还要修改一个内容,哎,把这个user表里的root用户啊。
07:04
它的访问权限,哎,耗的节点给它改成一个百分号,什么意思呢?啊,所有的IP都能通过root用户登录my circle,它这个host的默认是谁呢?我们来看一看啊,默认是local house啊来看一看右my circle,然后右键整体啊,啊默认是local host,哎,入选用户,那这个我们要给它改一下,给它改成百分号,意思是所有的这个IP地址它都可以访问啊右键粘贴啊,OK,改完了,那改完了之后啊,不要急,我们呢先给它刷新一下啊,刷新一下在这右键粘贴好,刷新完了q it退出,OK,那么到这我们的my circleq就算安装完了,那安装完了接下来我们连接一下。
08:00
这人啊,像。这个工具,我这工具里呢,有一个nay Kate,哎,不知道各位装没装过navy k的这个工具navi k或者是circle young啊,在给大家的这个资料里啊,这有一个S样的安装包,哎,大家呢可以安装一下这个S样,呃,这个S样相对于navi k来说,安装起来要方便一点啊navi Kate如果说你是第一次安装的话,它默认的可以是免费使用15天,15天之后你就需要这个付费了啊,但是呢,我们也有一些激活的手段,那na的激活还是要复杂一些的,所以说大家可以用这个S就OK,那S上的界面啊,看起来要丑一点啊,但是能用,那我先把之前的这给它删了,来给它删了,删了之后我再新建一个MYSQL链接啊,建完了之后名字叫做CMA主机名。卡都为102。卡豆102端口3306用户名root密码六个01234566个零,好,测试链接OK,连接上了,接下来点击确定OK,那么my circle到这我们就要安装完了啊好保存一下,好,那刚刚呢,我们已经把my circle安装完了,然后呢也连接上这个naviate了,哎,连接到这个客户端工具了,那么我们想一想啊,你说我们现在业务数据库已经有了,那我们是想要干嘛呀,我们是想要同步。
09:35
哎,业务数据吧,啊,我们要想同步业务数据,那既然想同步业务数据,现在我们只有一个数据库啊,还没有数据啊,那数据怎么来呢?哎,在生产环境当中,数据肯定是由用户产生的呀,你像订单数据,它会入到我们买车后数据库,那什么购物车数据啊,写入到我们买车后数据库等等的这么一系列数据,那写入到数据库,我们把这些数据给它通通的同步到我们的数仓,哎,离线啊,或者是实时数仓啊,哎等等等等啊,那我们现在根本就没有用户来帮我们产生数据啊,那怎么办呢?啊,那我们就要哎模拟数据了,跟我们模拟用户行为数据一样,那现在呢,我们模拟的是业务数据啊,来到文档当中,我们看一看业务数据模拟,那首先第一步连接客户端工具。
10:27
这是连接的社样啊,连接好,那连接上之后我们干嘛呢?哎,在给大家的这个资料当中。你看啊,资料这里边有一个Mo,我们之前看过吧,Mo里有一个日志,有一个业务日志,是用户行为日志,业务呢就是我们的业务数据了,那在这个里边呢,有一个gmail.circle啊,那好,我们来到这儿啊,有这么一个circle文件吗?你不是我在这先创建一个数据库,新建一个数据库,数据库的名字就叫gmail字符集,选择UTF啊,啊排序规则呢,UTF8Z xci,然后确定完事之后啊,我在这个地方右键。
11:12
导入啊,导入一个啊,运行一个SQL文件,那这个circleql文件指定哪呢?哎,就指定我们桌面上的这个资料,资料里的Mo Mo里的日志啊日,呃,Mo里的业务,这里边有一个Gma.circle然后打开。啊,然后接着开始呗,运行啊successful哎,代表它已经导入成功了啊好,那关闭,那完事之后它也没有啊哎,我们的F刷新一下,你看对应的表啊,哎,它就已经出来了,一共多少个啊,我们在这一共有46张表啊46张表好了。那么这些表现在我们只是创建出来了,你看哎,有一些是有数据的啊,有一些是有数据的,你看但这些它就没有数据的,为什么呢?因为有一些数据我们没有办法去模拟,你就像啥呀,你看这个订单的这数据我们怎么模拟呀,那我们就直接给它定义好了,再有你看这个商品的数据我们能,我们能我们能模拟吗?是不是模拟不出来呀,我们只能直接定义好,直接放到表当中啊,那你像这些空的呢?啊,有一些表它是空的。
12:23
哎,这也不是空的啊,这个这也不是空的,哪个是空的呢?订单啊,订单相关的表是空的,那我们可以怎么办?哎,我们就可以通过这一个脚本呢,哎,我给你随机生成一些订单的数据,那这个脚本在哪呢?哎,就是在这儿啊,你看。嗯,资料,哎业务这呢有两个文件,一个是application点,哎这个呢,就跟我们之前的点YML是一个意思啊,一个配置文件,这还有一个炸包吧,那把它俩拿到我们的项目当中。好,那我首先来到OPT model在这里啊,我创建一个文件夹,Make DR,一个DB下划线啊,DB_log完事之后,我们CD到DB_log进来之后,我把这两个拖拽过来,好,那拖拽过来之后我这么的,我执行一个Java杠这啊,G ma g ma。
13:26
啊,运行。哎,你看它就已经运行了。啊,等它运行结束,哎,这个比较快啊,因为数据量比较少,你看那这个里边它运行的是什么呀,是不是就一个一个的insert语句啊,帮我们把数据插入到我们的买SQL表,你看刚刚这一表不是没有吗?我再刷新一下F5,诶,对应的数据就模拟出来了,当然了,我们也没有这么多啊,没有模拟那么多,只是模拟够我们来测试的就OK了啊啊嗯,这表会多1.orderinfor啊,这表数据相对来说模拟还多一点,再有一个all detail,哎,这个呢,会更多一点,好。
14:05
那么这个我们再看一看啊,这个文件a play第二啊,我们看一看它这里边是什么内容呢?炸包我们看不了,我们看看这个。打开。打开诶打错了啊,打错了,点这个右键打开。好,那完事之后我们看一看这里都是什么东西呢。首先日志打印的级别,哎,还记得吧,页份啊,打印成功的信息,那再有我们要往哪写数据啊,哎,往my circleq写数据,所以说它连接了一个my circleql的驱动啊,然后my circle的JBC用户名root密码六个零,注意啊,如果说你们的买circle的密码,你设置的不是六个零,你非得要设置一个你自己的密码,那么这个文件的密码你必须要修改,再有这个喊度吧,1023306啊,Gmail这个URL你们不一样啊,你们也得自己改啊,啊这个URL还有密码不一样,你们必须自己改,那你不改肯定是写不进去,他会报错。
15:15
OK,那再往下看。下边是我们模拟的问题了,Mo date业务日期啊,我们数据模拟2020年6月14号的数据啊,啊,这有一个什么,是否重置啊,哎,首日为一,之后为零,哎是否重置用户啊,首日为一之后为零,什么意思呢?如果说它是一的话啊,它会把我们之前的这个数据给我们清空,然后我们现在表里是不是有这么多数据啊,如果说这两个参数它都是一,它会把我们所有的数据都给清空掉。啊,它会都清空掉,清空掉之后再重新生成一批数据,那如果说我们没有设置成一呢,那他会怎么办啊,设置成的是零,那它就不会清空掉,哎,再给我们增加一批数据,那什么时候会这么用呢?我们现在模拟的是14号的数据吧,模拟第一天的数据,那么之前的数据可能没有用啊,我呢,直接插入一天的数据,那如果说我现在还想模拟一个15号的数据,那你给他设置成一是不把14号的三了,那我再插一个15的,那么这里永远只有最新一天的,但我们要让业务数据库当中有很多天的数据吧,那怎么办?
16:32
我们第二次的时候就要把这个参数给它设置成零了,那么14号的,15号的,16号的,然后17号的,哎,等等等等啊好这这两个参数的作用。生成的用户的数量啊,200个男女比例啊,这些收藏的比例啊,这些,哎,这都是我们的每一个参数啊,它的一个来解释,以及它的作用,好,那这呢,我们就不再多说了,好。OK,那么这个就是我们的用户行为数据的模拟,哎,那到这儿我们也就完事了啊好,用户行为数据的模拟。
17:11
嗯,暂停一下。OK,那么my circle的这个业务数据库啊,以及业务数据我们模拟完了,模拟完之后我们这还有一个业务数据建模的这么一个工具,叫做EZDML,哎,它是一个数据库建模的工具,那么这个工具有什么用呢?啊,我们先往下看,看看最后它能实现一个什么效果啊,它能把我们的表和表之间的这个关系啊,给我们关联起来,那关联之后最终就会出现这么样的一个效果啊,每一个表和每一个表之间,它们都有一个关联关系啊。OK,那么接下来我们就看看这个EZDML啊,这个工具怎么使用啊,来吧,我们看看这个工具在哪呢?依然在我们的资料当中,哎,在资料这。
18:04
MYSQL这里有一个e z dml啊,这工具怎么安装呢?我就不带着你们安装了,双击,然后一直下一步下一步下一步下一步直到完成啊就完事了,好,我这已经安装完了,安装完了我直接打开,打开我们看一看。啊,稍等啊打开一下,好,那这是我之前导入的一个模型,那我把这个模型给它删掉,删除。删除模型确定好了,删除完了,那删除完之后,它这个地方总会有一个模型的,哎,那它现在是一个空模型,那你们刚安装完呢,它会有一些自带的这个模型,那你们呢,也可以删掉啊,只剩下一个空模型就完事了,那我们如何把我们买SQ数据库的这个表导入进来呢?好,你看这啊,点击这模型之后,然后点击模型,点完模型之后导入数据库。
19:02
那在这哎,它就会给我们弹出一个数据库链接啊,那再来一次点击导入数据库啊,啊这儿啊,你看啊这儿吧啊那完事之后我们点击这个数据库链接,点这之后它给我们弹出一个数据库类型买口数据源哈,坐比1023306,然后连接到gmail数据库啊那这呢,你们默认的应该是这个local host的3306TEST啊这呢,你们要自己去写一下啊。哇,还没了重来,OK,那这个你们呢,要自己去写一下啊,自己去写一下,那我这我就不重新写了,因为我这已经之前有啊,他记住了好。那完事之后,你看我们选择什么呢?你看它这里边有这么多表,这都是什么呀?哎,这些我们都不认识啊,但我们想要的只是gmail相关的这些了啊,注意这儿还有一个选择用户啊,那对应的我们就能选择我们的数据库了,哎,所以说这跟用户没什么关系啊,这个地方是户啊,啊是户不是户啊,是我们的数据库啊,选择一个我们自己想要导入的数据库,那导入完之后,我们这儿一共是有46张表,那46张表有一些它不需要我们来进行同步,那不需要我们来进行同步,我们就要把这些勾给它点掉啊,点掉那具体哪些不需要呢?哎。
20:29
啊,那具体哪些不需要呢?我们看一看啊。文档当中,哎,已经给我们标记出来了,在这儿呢,啊标记出来了,标记出来呢,你就给它点掉就完事了,那我在这儿呢,我就不一个一个的点了,我呀,我就直接开始。嗯,Active已经存在,请使用另外一个名称。什么意思呢?什么叫做active已经存在?啊,那么这样啊,我先新建一个模型,好吧,新建一个模型,然后我再导入数据库。
21:05
覆盖啊覆盖同名表,那这么的吧,给它覆盖同名表,这回再开始好,那导入进来了。你看啊,这个是不是我们数据库里的表啊,Active in活动信息表,Active入活动规则表,OK,那表就都导入进来了,那导入进来之后,我们最终要给它达到一个什么样的结构呢?就是我们在图中的这个结构啊,给它。画成这么一个结构,那我先告诉大家啊,这个线应该如何连呢?好,看看这线应该如何连啊,那我们连一个先找两个表,呃,一级分类,我们先找到一级分类表,右键在模型当中定位。好定位到了之后,我给它往上拖啊拖拽到一个空白的区域,再来一个二级分类。右键。
22:01
在模型当中定位啊,这呢,哎往上拖,哎拖拽到空白区域,好,我们上来看一看,看看这个怎么连啊,我们看一级分类和二级分类怎么连。我们一个一级分类下边是不是有很多个二级分类啊,那么二级分类你看它这个表当中有一个CAT1ID啊,一级分类的ID,那么一级分类是一个主表吧,哎,二级分类是一个从表,它们是一个一对多的关系,那怎么连呢?点中主表,然后点击上面这个连接啊连线点它,点它之后点击从表,你看它会弹出一个悬浮窗,然后点击外键关联啊,点完之后我们选择关联字段,那主表是用ID进行关联呗,那从表呢?用谁呀?用cat ID啊啊,你看一对多的关系确定。完事,那这关系我们就能对应的上了啊。
23:00
那对于我们来说,我们要把这个所有的表都连上,那我呢,我就在这儿拿两张表来给你们做一个举例啊,那完事之后我们可以点击这个来变成一个表名的结构,那最终呢,这个啊,我呀就不给你们都弄了啊,就告诉大家怎么连线,那有时间的同学呢,你把这个表你自己去连一下,那没有时间的同学怎么办呢?哎,没有时间的同学接着往下学好,那我们继续啊。暂停一下。
我来说两句