温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
大家好,欢迎收看pat linknk实战系列教程,本章节为入门系列八简单ETL作业开发腾讯云流计算LIST10大数据产品生态体系的实时化分析利器,兼容opachlink作业。下面将教大家学习如何利用wishless ETL作业将PG数据写入到PG中。ETL是将业务系统的数据经过抽取、清晰、转换之后加载到数据仓库的过程,目的是将企业中的分散、凌乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL管道任务可以从数据源表获取数据,进行一些转换操作或信息补充,再将结果加载到目的源表中。目前ETL作业支持的数据源表包括马口PG,数据目的包括马色口PGCK。首先,本地连接PG数据库进行数据准备。这里我创建了两张表,分别用于数据源表和数据目的表,并在数据源表里手动插入了几条数据。
01:04
目的表中没有数据。进入ocean控制台,创建ETL作业。点击作业调试,进入作业开发页面,首先创建source,单击添加,选择PG,填写数据源表相关的信息。然后创建SG,添加选择PG,填写数据目的表相关的信息。
02:12
接下来进行字段映射,这里我们将原始字段经过时间函数处理,映射到数据目的表的相应字段date format函数可以将time stamp类型的时间戳格式化为字符串。Time stamp a函数可以将指定的time stamp增加一个时间段。更多内置函数请参考O官方文档。点击保存,发布草稿,运行作业。我们可以看到,作业已经处于运行中状态。接下来进入PG数据库,可以看到数据已经正常写入。
03:03
我们返回ochlesss控制台,点击右上角帮助文档,进入ochlesss官方文档页面。ochs官方文档陈列了目前ETL作业支持的上下游,供用户阅览,之后将提供更丰富的上下游。
我来说两句