温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那接下来我们看OD层的业务表,那其实前面我们分析过啊,就是OD层业务表的创建呢,实际上是可以参考我们业务系统的数据库的啊,那买SQL当中的表和我们ods层的业务表其实是基本一致的啊,那由于我们前面已经花时间带大家去看过了,呃,买SQL当中的每张表的表结构,那所以说我们这儿呢,就不再花时间重复去看ODI层的表结构了,那在这儿我们重点看一下ODI层业务表的分区规划啊,那下边有一张图,然后大家注意一下啊,这张图它所代表的是我们整个一层每一张表的分区规划啊,那现在我们来看一下这个规划是什么样的。其实看起来比较清晰啊,那这个分区规划呢,我们是按天分区啊,按天分区那一天一个,一天一个,那我们接下来重点看一下它每天分区当中存放的是什么数据,那我们先看第一个分区啊,6月14号,6月14号是我们所规定的数据仓库上线的第一天,对吧?啊,那由于我们第一天的时候啊,对业务系统数据库当中的所有的表都来了一个全量同步对吧?那所以说呃,每一张ods层的业务表,它第一天的分区都是一个全量分区啊,大家也看到了,那14号的分区当中存储的就是当日全量的业务数据。
01:22
啊,是这样的啊,那从第二天,也就是6月15号开始啊,我们不同的业务表所采用的同步策略,那可能就不同了,对吧?那有些表可能采用的是每日全量,有些表采用的是每日增量,有些表呢,采用的是每日新增及变化同步,没错吧?那所以说我们从第二个分区开始,哎,那就有区别了,那有的表啊,这个分区当中存放的是当日的增量数据,有的表呢,可能存放的是全量,有的表存放的就是新增级变化了,那当然它存放的是什么数据,这个实际上是取决于这张表的同步策略了。啊,这个呢,大家需要去注意一下,好,那这就是我们ods层业务表的分区规划啊好,那其实ods层的业务表当中啊,有两个表是比较特殊的啊,哪两个呢?哎,就是省份和地区表啊,由于省份和地区表,他们这两张表下边的数据啊,是不会发生频繁的变化的,对吧?那所以说我们在同步数据的时候呢,就呃没有每天都去同步,那只只同步一份就够了,对吧?那所以说我们这两张表呢,也没分区规划,我们就说完了啊呃,然后呢,我们再挑一个表,以它为例啊,去说一下ods层业务表的这个数据存储,那首先我们来看一下它的存储格式啊,那跟ods层那个日志表其实是一致的,对吧?咱们也是采用拉泽罗压缩啊,然后还要注意一个地方,就是这个数据的存储路径。
02:59
那我们也是放到了warehouse j ma ods下边啊OK,那这个呢,就是我们ods层的这个,呃,建表语句,好,那接下来我们把这个ods层的所有的表一次性的都给它创建出来,那现在我先把这个建表语句呢都粘出来。
03:19
来我们拉到最底下,那ods层的业务表呢,一共有27张啊,27张我们CTRLC粘出来,粘来之后呢,我们需要先做一个简单的处理啊,咱先把那个标题去掉,来CTRLF啊,然后呢,我使用正则匹配,那去掉这个标题那4.2,然后来一个星就行。点。好,那匹配到所有的标题之后呢,我呃全部中,然后删除好CTRCTRX出来,然后呢,放到我们这个data当中,给它创建出来,这是我们的业务数据啊。好,那这27张表,我们一次性的给它创建出来。
04:00
啊,全部选中,然后呢执行。好,那二十四七张表,呃这个呃,创建出来之后呢,那我们一会儿就可以去做这个数据的装载了。
我来说两句