00:00
来咱们准备这个新数据,我们准备新数据呢,咱们就挨着走就行啊,咱们之前做开发这一套的时候呢,咱们用的都是14号了,对吧,那现在我们造一个15号的数据啊,来我们打开这个文档上呢,有这个相关的这个相关的说明,咱们可以不看它啊,直接看我这个就可以啊,那我们造数据怎么造啊,咱们得造,呃两类,一类是日志一,一类是业务数据,对不对,那现在问一下大家啊,你说咱们在这儿准备数据,我们应该准备到什么程度啊,咱们分开来分,分开来考虑,比如说现在呢,咱们说这个日志。但日志咱们这边应该准备到什么程度啊。准备到什么程度?准备到什么程度,那你是不是得看你的全流程,就是那个阿斯卡文调度那个全流程,它里边包含哪些工作,对吧?来咱们回忆一下啊,我们那个对于日志来说,我们交给阿斯卡门调度的第一个任务是啥?第一个是啥,是不是你看这个。第一个任务是啥?是不是直接就是HD FS to ods log呀,对不对,因为什么?因为那个导数据的那个过程不需要调度啊,因为它是不是正常就是运行起来,启动起来就一直运行,然后数据呢,时时不断的写到HTS啊,那所以咱们这准备日志数据应该准备到哪儿,是不是准备到HTFS,没错吧,这是对于日志来说啊,那对于业务来说呢,他的第一个任务应该是哪啊,是不是买circle to hts啊,也就是说库搞数据的任务是不是也应该交给阿斯卡巴去调度,对不对?那所以说日业务数据咱们准备到哪就行了。
01:34
是不是准备到my circle就够了呀,对不对,那往HD上导数据的任务呢,我们是交给阿德卡曼去调度的啊,那所以说那咱们得需要知道我们数据准备到什么程度啊,对于日志来说,准备到HTS,那对于我们的业务数据来说呢,咱们在这呢,准备到买S就可以了啊好,那接下来开始去准备咱们的数据啊。我们现在呢,先去准备一下这个呃,日志吧,先准备日志啊,那准备日志的话呢,我们需要先去修改一下o BT module APP log,是不是先修改这里边的一个application.properties啊,这里边呢,我们修改谁是不是修改日期啊,然后大家注意啊,咱们模拟生成日志的这个日志服务器呢,我们有几台?
02:16
两台一个102,一个103对吧,那所以说这俩我们都得改一下,6月15号,那103呢,我们也要去改一下CD到OPT,哎,Model啊,Log啊,Vm application点日期改成六月15。好,Shift这行日期咱们改完了,那接下来干啥?接下来是不是得先把我们整个日志的采集平台再给它提起来啊,先按理来说日志采集平台是不是应该一直运行,但是我们为了节省资源,是不是咱们不用的时候就把它关掉了呀,这时候再给它提起来啊,那其他的话我们需要掀起来,先起ZK吧,Zk.SH塔啊,起完ZK起谁?提卡不卡啊,喜欢卡不卡再起辅路嘛,对吧,那KF卡不卡点sh start。
03:03
啊,走。好,XGPS啊。好,那我们已经这个给它启动起来了啊,启动起来了,那启动起来之后呢,我们接下来再去启动我们的那个F1F2,呃,然后给大家简简单说一下啊,我们有有的同学呢,这个给我们的虚拟机分配的资源呢,还是不够啊,咱们前面已经一再强调1020台主节点要多分一点,咱们是不是分833就行啊,对吧,但是好多同学并没有去按照我这个要求分,有的还是两个G啊,甚至还有两个G的啊,然后还有四个G的,这个都不够用的啊,都不够用的啊,那这边至少得分到八个G啊,大家到时候得分一下,要不然的话,这个你是跑跑不完的啊好,那现在我们的卡夫卡已经起下来了,我们现在启动flu先起102103的,哎,f1.shstart啊,然后呢,我们再把104的H起来,是不是FF2.sh啊,对吧,Start啊,那起完之后呢,我们查看一下这个进程SGPS。
04:01
这边application,这边application这个呢也是application,呃,现在应该都正常启动起来,那接下来呢,我们执行log.sh生成15号的日志,来来我们start,那就直接就log.sh就行啊回车。好,那这个数据呢,现在应该已经开始,诶这个往文件里写了,那数据呢,应该也逐渐的在往HM上采集了,那这时候呢,我们去监控一下啊,看他有没有过来,我们点到这个。Origin date那个路径啊,Origin date点进来点积more.log.topic log,然后呢,大家来看观察一下这个六月15是不是已经出现了呀,对不对,咱们刷新一下啊双先生这个tmp那个结尾是不是已经去掉了,那说明这个文件已经写完关闭了,那这时候我们日志就准备好了,那咱们还是为了节省资源啊,把这个没用的进程是不是先给它关掉啊f1.shstop。啊,然后呢,F2的sh stop,好,那他俩都停完之后呢,卡不卡也就可以停了,Kaf KA stop。
05:05
啊,那卡布卡要停的话需要一段时间,所以ZK呢,咱们先不停,先稍微等一会再停啊,啊日志咱们准备好了,那接下来呢,我们去准备业务数据,业务数据准备到哪,是不是业务数只需要我们准备到这个MY搜就可以了呀,那这个就比较简单了,我们CD的OPT,诶Mo应该是有一个叫做DB log的路径,对吧,那进来进来之后呢,也是要改一下这个配置文件,好改日期就行。啊,摁一下I改成15啊,两边日期一致就行了啊,那这时候呢,我们呃Java杠这啊执行谁执行这个扎包是不就行了,那现在我们直接回车啊走啊,那数据呢,应该就会写到我们买S当中,那等它执行啊执行完毕,那这时候我们去买sol当中去简单查看一下,看看有没有15号的数据,来我们点击积帽,那随便找一个跟这个日期相关的表啊,跟日期相关的,比如说找到订单表吧,Order info,我们就来看一看有没有6月15号的订单是不是就行了呀,对不对,咱们找一找有没有啊,往后拉找到那个时间字段。
06:05
哎,这是不是就是六月15的已经有了啊,已经有了啊好,但是现在他是不是只有6月15号的了呀,对不对,这个咱们应该是忘了一件事啊。啊,忘了一件事,忘了哪些事了呀?咱们是不是这块有一个重置的这样的一个问题啊,对不对,那咱们现在应该是正常,应该是从你15号开始,是不是前面14号数据咱们也得保留啊,对吧?那这边咱们没保留给它去掉了,其实也无所谓啊,因为我说咱们因为现在只要保证我们有15号的数据是不是就够了呀,对不对,能倒过来就行,那这边咱们呃,没改就没改吧,这个无所谓啊,那后续我们数据能跑通就行啊好,那这边大家要自己去改的话呢,最好记得把这个改成零啊,当然不改也没有任何问题,不影响我们这个全流程调度就可以啊好来我十在之内啊,那这两边这个日志和业务数据我们就都准备完毕了啊好,那视频我录一下。
我来说两句