版权声明:本文为博主原创文章,未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1433221
一、问题提出
在一个数据仓库应用中,每天新建一个MySQL数据库,以当天日期命名,如d_p20161201、d_p20161202等,并使用Kettle连接这些数据库做数据清洗和ETL工作。由于数据库是用脚本每天动态生成的,Kettle如何连接动态分库呢?
二、解决方案
三、验证步骤
create database if not exists d_20161225;
use d_20161225;
drop table if exists t1;
create table t1 (a int);
insert into t1 values (101),(102);
commit;
如图所示,在“数据库名称”中引用了一个变量${current_date},此时该变量还没有定义。如果测试数据库连接会报以下错误:
该转换由三个步骤组成,分别如下面三张图所示:
“生成记录”生成一条记录,在数据流中存储变量值。
“JavaScript”用来生成符合日期格式的字符串。
“设置变量”给变量赋值。
此转换只有两个步骤,用来测试数据库输出,分别如下面两张图所示:
“表输入”查询t1表的数据。
“文本文件输出”将表数据存储到一个txt文件中。
正确查询出表数据。
四、总结
本实验在以下两点进行了尝试: