00:00
好,那接下来我们看一看这块这个模拟数据,咱们需要做哪些准备工作啊,首先我们先做一个规划。呃,因为咱们日志正常情况下是会通过买点,然后发送到日志服务器的,对吧。那咱们现在有日志服务器吗?还没有,所以我们做一个规划啊,我们将102,幺零三两台节点作为我们的日志服务器啊,那所以说生成日志代码,一会咱们需要部署在102 103这两台节点上,对吧?啊,这个大家要注意啊,啊,那现在我们去找到这个模拟生成日志的东西,我们现在102上做测试,然后一会测通了之后再往103放啊来,我们现在先进到,呃,咱们的这个OBD,这个soft,呃,咱们看放在哪啊,看文档上放哪了,咱们就照着文档放就行。文档上说让我们放在这个OPT Mo下边有一个log对吧,那咱们就放在那,我们创建一个路径啊,然后回车,然后我们进到OPT Mo掉啊APP log啊完之后呢,我用这个工具呢,我传一下这个数据啊,把这个往上推一下。
01:01
走。找到modu,找到applo,然后咱们退找到我们这个资料,资料当中呢,有一个这个资料,那资料里边呢,有一个九叫Mo模,模仿的意思,模拟的意思啊,点进点进来,进来之后有一个业务,有一个日志,咱们现在模拟的是谁日志对吧?那选它那这一串东西全部需要传过来传输啊传过来了里边有一个炸包,然后有几个配置文件啊,那接下来我们去解释一下这几个配置文件以这个炸包分别是什么啊啊这个炸包呢,是一个咱们这个执行的个这个这个这个这个生成日志的逻辑都写在这个里边啊,我们一个大代码写打的这个扎包用的s boot啊,然后其他的这几个呢,都是我们代码这个程序执行的过程当中需要使用的配置文件,来咱们逐一的解释一下,打开文档就行啊。哎,文档。先看第一个,第一个呢是application.properties啊,那这个文件当中呢,我们给大家开放了一些这个配置参数,那首先第一个呢是什么是业务日期啊,因为咱们这个后续的数仓啊,我们需要去模拟多天的数据,因为咱们数据数据仓库是不是每天都要计算呀,需要模拟多天,所以这呢,我们可以配置咱们这个数据的日期啊,通过它来配置mo.date啊,然后往下走。
02:16
下边呢,有一个模拟数据发送模式啊,这个发送模式呢,咱们两种方式啊,一个是log,一个是HTTP啊这个log呢是咱们数这个,呃,离线采集的这个数据的这个生成形式,呃,通过日志采集方式,那实时呢,我们的数据发送方式啊,可以使用这个HTP的方式去发送啊,这个是我们实时系统当中会用的参数,咱们在这就不用管了啊,这些参数咱们都不用动啊,就这个红的咱们可以改啊,像下边这个都可以不改啊,都可以不改啊,然后往下走,下边呢,还有一个什么东西,还有一个这个什么启动次数啊啊,这个最大设备数,会员最大值,商品最大值等等等等,这配的都是什么呀?配的都是一些我们那个日志相关的内容啊,就是本次你生成多少条启动日志啊,对不对啊,那包括什么呀,你那个商品的最大的个数是多少,哎,等等等等,页面的平均访问时间是多少?哎,就是配一些这个自由的参数,这个咱们用默认值就行,也不用改啊,哎,咱们知道它是干啥的就行,要改我们就改日期就行了。
03:17
啊,然后接着往下走,下边呢,有一个pass杰森,这是一个杰森文件啊,然后这个杰森文件是用来干什么的呢?给大家解释一下啊,是用来配置用户的点击路径的啊,也就是用户的访问路径啊,大家想想啊,我们正常一个用户去购买,去购买一个商品的时候,在电商上边我是不是肯定会有一个固定的访问流程啊,先访问首页,然后呢,在商品详情页,呃,在列表页,在详情页再加购物车,再购买等等等,是不是这样的呀?嗯,这个就是用来配置咱们这个呃这个什么的呀,这个路径的你看啊,这是什么?Home首页啊,列表页啊,详情页啊,这个加购车啊,这个下单后边是支付,然后后边有一个rate rate指的是你这种比例的,呃,你这种这个路径的一个比例啊,这个是20%啊,这50%,这10%,这10%。
04:04
啊,这个可以灵活的配置,当然你不配用默认值也行啊,然后看最后一个,后一个是log back配置文件,Log back呢大家可能没听说过,但是大家log个分机有没有听说过呀,肯定说过对吧,这是专门用来打印日志的框架。啊,那log back呢,其实跟log分街呢,它俩其实是同源的,它俩都是对一个那个日志框架的一个实现啊,其实那个呃是同一个框架的两种实现啊,所以它俩使用起来呢,相对来说也比较相同啊,那log back这个配置文件呢,是叉mail格式的,Log分间呢是prop文件的格式啊有这点区别,那下边这个文件就是哎,咱们这个logo back它的配置文件,呃,在这里边呢,我们重点诶知道一个参数就行了啊,那个参数就是它标红的这个。啊,这个property啊,这个name等于log home啊,这当然只是一个变量,下边引用它了啊,然后后边Y就是什么?是一个这个路径,然后大家要注意啊,我们日志生成的路径就是哪儿呢?就是这个路径下边啊,就是我们的日志呢,会最终打印到这个路径下,这样应该能理解对吧?啊那这个路径呃,会生成我们的日志,那后续呢,我们是不是就去这个日志里边采集咱们的日志就行了呀,来看一下这个路径在哪啊o BT Mo log log,那一会咱们去里边看看有没有数据生成啊行,那也是解释到这儿呢,我们这几个文件就都说完了啊,然完之后呢,咱们怎么去执行这个代码呢?咱们直接来使用这个谁啊Java杠诶这然后加上一个炸包就行了,这个包呢,是一个可执行大包啊,不需要传全带名,直接Java杠这就行,然后然后大家要注意执行这个命令的时候呢,一定得确保你是在哪呢,是在咱们这个路径下去执行的啊,你不能说我在其他路径,我OPT Mo,然后AP log。
05:52
里边呃,去执行这个展板行不行不行啊,为什么不行啊,呃,是因为咱们这个代码执行的过程当中呢,它是不是需要去加载这些配置文件呀,然后在代码当中,我们那些路径都是写的是当前路径啊,在代码里边都是当前路径,所以说它是不是会在当前路径下去找他呀,所以当前路径指的是谁,是不是你在哪儿执行的这个程序,那你的当前路径就是哪儿啊对不对,那所以说一定得在这个路径下边去执行啊,大家一定得记得,然后咱们回车走。
06:22
啊,那这个数据呢,就开始生成了啊,开始生成了,那当然这个是咱们打印在控制台上了啊,那这个数据还会怎么办呢?还会写到这个文件当中啊,写到文件当中,这个由谁管啊,其实就是由谁管的,由咱们这个log for log back的配置文件去管的啊,由他去管的啊,他管的啊,然后可以简单给大家解释一下这个log back的文件啊,咱们简单看一下啊来,我们现在呢,先看一下咱们日志有没有吧,呃,这大家会发现是不是出现了一个log呀,那我们先进到log l诶,这里边有一个APP,然后202009杠幺二点log,这是不是出现了一条日志文件呀,咱们打开看一下来,这就是我们模拟生成日志啊,里边有启动啊,还有页面日志啊,这个咱们来简单说一下,完之后呢,给大家解释一下这个log back的这个文件啊L来打开log back来回说。
07:16
呃,那log back这个文件呢,我们大家必须得知道一个概念,什么概念,就是关于这个aend的这个概念,包括log分间里边也有这个aend的概念,那aender指的是什么啊,指的就是咱们这个文件,呃,这个日志输出的模式啊,或者输出的形形式啊,那我录制输入的形式可能有什么呀?比如说打印的控制台,比如说写到文件当中对不对,那不同的形式我就要配置一个不同的aend啊,你看这我们这是不是有一个第一个aend,这是一个councilo啊对不对,这个名字可以随便起,但是你要看后边这个类,这个类是什么,是console和end console就是控制台,对吧,它就会把日志打印在控制台,所以刚才咱们在控制台是不是看到那个日志输出了呀,对不对,那下边还有一个下面什么是rolling file,这个也是自己起名随便起啊,然后注意看后边,后边是不是有一个rolling fileender啊,Rolling file就是滚动的文件啊,也就说这个日志是不是还有写的文件当中啊,那刚才文件里是不是也有咱们的日志内容啊,是由它俩起作用的啊,然后。
08:17
这个所谓的rolling呢,就是滚动的意思,所谓滚动是什么呀?滚动就是不断的生成新文件呗,对不对,那这个滚动的策略有什么呢?有按照大小,大小滚定滚动的,比如说我这个30兆一个文件,30兆一个文件,30兆一个文件,那还有按照什么呀,按照时间time base的rolling policy啊,就是时间滚动,比如说我一天滚动生成一个新文件,对吧,我九月十二一个,九月十三一个,九月十四一个,刚才也看到了,我们那个文件名当中是不是就有这个日期啊,对不对,咱们采用的就是这个,诶时间滚动策略啊,那时间滚动策略呃的话呢,这里边还有个东西叫做film name pattern,就是文件名的格式,那首先咱们这有一个log home,这个引用的是啥?是不是引用的上边的这个变量啊,对不对,也就是我的数据呢,会写到这个路径下,然后后边名字什么是app.log,然后这里边呢,有一个格式叫做YYMMDD,这就是年月日,然后点到了啊,那这个呢,就是我们生成的这个文件的文件名的格式。
09:14
啊,那所以说我们后续所有的文件都会在这个路径下,然后呢,文件名都是什么,都是APP作为前缀,然后中间呢,有一个日期啊,然后后边呢,有一个点log啊,这个文件名咱们需不需要搞清楚啊,需要为什么?因为后边辅录监控的时候,你是不是得能够匹配到这个文件才行啊啊这个大家得记住啊好,那这个咱们就哎不再多说了啊,这是咱们这个log back,咱们简单了解一下就行,行,那既然102能通,那我的103是不是也能通啊,那咱们现在要做的是什么?是把102诶咱们这个刚刚生成的这个log所有的东西是不是放在103啊,对吧?那这时候咱们可以用啥?啊,用一个SCP是不是可以啊,咱们用SCP啊,那我们把这个当前路径的applo啊,给它拷贝到哪呢?拷贝到海度吧,103,哎,下边来一个OPT,来一个Mo对吧,但是咱们这是一个文件夹对吧?所以SCP杠啥杠二啊走好已经过去了,那看一看103有没有啊CD的OT audio l OK,已经有a log了,行,那102103,我相当于这个错通了啊,那我把视频录一下。
我来说两句