首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ETL是BI(商业智能)的基础,调度是ETL的灵魂

ETL是BI(商业智能)的基础,调度是ETL的灵魂

作者头像
taskctl官方频道
修改2020-06-12 17:27:49
7480
修改2020-06-12 17:27:49
举报

ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程

你想啊,数据的由来都是ETL实现的,以后所有的数据处理,不都是要依靠这些抽取来的数据。

这一块没有做好,后面的分析,展现就是来了大神,他也没有办法,就像巧妇难为无米之炊一样。

所以说ETL是BI商业智能的基础,

调度是ETL的灵魂,我们首先讲讲调度的功能。

ETL调度功能说明

调度维护

1) 调度系统参数维护,对调度系统的公共参数:期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。

2) 下传文件信息维护,维护所有区域的下传文件名称、文件状态、文件数据日期和对应区域的归属关系。

3) 作业步定义与维护,定义作业对应的实际ETL处理过程,生成作业编号,定义作业类型和作业的驱动关系,作业的运行所需要的条件。

4) 调度异常处理,对调度过程中出现的异常情况进行处理,提供错误查找、出错重跑功能。

日志管理

1) 调度过程日志,管理记录调度中的主要过程和异常信息,如调度开始、调度完成、数据库操作异常和读写文件异常的日志。

2) Job执行日志,管理记录Job执行信息的日志,提供该日志的查询、删除和执行状态重置功能。

3) Job详细事件日志,管理记录Job执行中的详细事件(清洗记录条数、数据库具体操作情况)的日志,提供对日志的查询、删除操作。

作业调度

正常情况下的作业调度,对整个ETL过程进行调度,提供分段提交处理和自动提交处理功能。

可调度的Job类型

1) C程序(清洗),ETL调度提供与C程序的接口,从而可以对C程序进行调度。

2) 用C封装的SQLLDR(加载),将ORACLE SQLLDR封装在C程序中进行调度。

3) PROC程序(合并、转换),对合并和转换过程,调度提供相应的接口,从而对ORACLE的PROC程序进行调度。

4) 存储过程(转换),将存储过程封装在PROC程序中进行调度。

5) DataStage(PI加工),调度系统提供了与DataStage的接口,可以对DataStage各个种类的Job进行调度。

你看看,是不是最不好处理的问题基本上都是调度在处理。所以说调度是ETL的灵魂。

————————————————

版权声明:本文为CSDN博主「石工记」的原创文章

原文链接:https://blog.csdn.net/swebin/article/details/52469364

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
腾讯云 BI
腾讯云 BI(Business Intelligence,BI)提供从数据源接入、数据建模到数据可视化分析全流程的BI能力,帮助经营者快速获取决策数据依据。系统采用敏捷自助式设计,使用者仅需通过简单拖拽即可完成原本复杂的报表开发过程,并支持报表的分享、推送等企业协作场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档