专栏首页Hadoop数据仓库使用Kettle连接动态分库

使用Kettle连接动态分库

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/53883505

一、问题提出 在一个数据仓库应用中,每天新建一个MySQL数据库,以当天日期命名,如d_p20161201、d_p20161202等,并使用Kettle连接这些数据库做数据清洗和ETL工作。由于数据库是用脚本每天动态生成的,Kettle如何连接动态分库呢? 二、解决方案 1. 建立数据库连接,在数据库名称中引入变量。此时是无法连接到数据库的。 2. 建立转换,用JavaScript步骤设置上一步引用的变量,作为数据库名称中的日期部分。 3. 建立作业,在开始后首先调用上一步建立的转换,后续的转换或作业即可正常使用第1步建立的数据库连接。 三、验证步骤 1. 建立测试数据库表。

create database if not exists d_20161225;
use d_20161225;
drop table if exists t1;
create table t1 (a int);
insert into t1 values (101),(102);
commit;

2. 新建一个转换,保存为set_dbname.ktr

3. 建立数据库连接如下:

如图所示,在“数据库名称”中引用了一个变量${current_date},此时该变量还没有定义。如果测试数据库连接会报以下错误:

4. 将mydb设为共享。

5. 编辑set_dbname转换如下:

该转换由三个步骤组成,分别如下面三张图所示:

“生成记录”生成一条记录,在数据流中存储变量值。

“JavaScript”用来生成符合日期格式的字符串。

“设置变量”给变量赋值。

6. 新建一个转换如下,保存为table_output.ktr。

此转换只有两个步骤,用来测试数据库输出,分别如下面两张图所示:

“表输入”查询t1表的数据。

“文本文件输出”将表数据存储到一个txt文件中。

7. 新建一个作业,调用前面的建立的两个转换,保存为connect_db.kjb。

8. 执行作业

9. 查看输出文件的内容,如下图所示:

正确查询出表数据。

10. 此时再测试mydb数据库连接,可以成功。

四、总结 本实验在以下两点进行了尝试: 1. 使用JavaScript步骤给变量赋值,这种在Kettle中编程的方式,能够实现非常复杂的应用逻辑。 2. 数据库连接可以在运行时动态引用变量,这给实现统一的ETL调度提供了一种可能性。 先设置变量并赋值,然后在后面的步骤或作业项中使用变量,这是一种通用的方法。通过在Kettle中进行程序设计,大大增强了Kettle的功能。 参考:http://stackoverflow.com/questions/23491072/pass-db-connection-parameters-to-a-kettle-a-k-a-pdi-table-input-step-dynamically

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Vue移动端框架Mint UI教程-跳转新页面(四)

    前三节写了vue的移动端框架的入门篇章,今天接着写,今天写的教程其实很简单,在之前的基础上,新建一个界面,并且进行跳转新页面。

    祈澈菇凉
  • 深入vue - 源码目录及构建过程分析

     公众号原文链接:深入vue - 源码目录及构建过程分析    喜欢本文可以扫描下方二维码关注我的公众号 「前端小苑」

    用户1741436
  • Java 8中增强For循环与forEach()方法学习

    Java 8是https://ask.qcloudimg.com/http-save/yehe-1289394/zr4ip2dir2.jpegJava的一个重大...

    用户1289394
  • 不会查看系统源码,还搞什么Android?

    在上一篇文章如何方便快速的整编Android 9.0系统源码? )中,我们对系统源码进行了编译,这篇文章我们接着来学习如何将系统源码导入到编辑器中,以便于查看...

    Android技术干货分享
  • 收藏 | 全网最大机器学习数据集,视觉、NLP、音频都在这了

    每年都有很多大型、高质量的数据集发布,其中大多数数据集都发布在各自的网站上,通过谷歌搜索很难找到所有这些数据集。

    CDA数据分析师
  • 前端开发人员的桌面应用神器 Electron

    曾经的 JavaScript 脆弱、简陋、甚至有被边缘化的危险,不过 JavaScript 在经过了两次飞跃后(以 V8 为首的 JavaScript 引擎和 ...

    CSDN技术头条
  • JavaScript 程序员可以从C ++中学到什么[每日前端夜话0x60]

    时间的结束?图片来自 Jens Kreuter 由Bret Cameron修改。

    疯狂的技术宅
  • Layabox谢成鸿:我与程序之道

    记得1998年打电话给余雪松,我兴奋的说,我已经将游戏中设计元素精简统一了。世界只有两个基础概念:元素、树结构。窗口、菜单、按钮这些概念,通通去掉。...

    Layabox Charley
  • Python的高级特征你知多少?来对比看看

    Python 是一种美丽的语言,它简单易用却非常强大。但你真的会用 Python 的所有功能吗?

    CDA数据分析师
  • 机器学习“剧透”《权游》大结局: 三傻领盒饭,龙妈笑到最后…

    本周,HBO热门美剧《权力的游戏》终章第八季终于在万众瞩目的中回归了。而参加德国慕尼黑工业大学——计算机科学研讨会的学生们早就开始了一项不同寻常的科学任务:预测...

    CDA数据分析师

扫码关注云+社区

领取腾讯云代金券