这里的需求比较简单,可以通过pt-archiver来做,也通过kettle之类工具来做。kettle的话比较重,可支持的数据整型功能也更强大。...我这里是用kettle来搞的(复习下kettle,弄个demo,指不定后面有更复杂的业数据需求要找DBA介入) 配置JDBC连接的时候,建议加上字符集设定等几个参数: defaultFetchSize...characterSetResults false 配置job的kjb文件的时候,建议使用相对路径: 写法 ${Internal.Job.Filename.Directory}/xxxx.ktr kettle...lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin cd /opt/kettle.../demo /opt/kettle/data-integration/kitchen.sh -file /opt/kettle/demo/test.kjb >> .
1,首先是安装jdk,并设置环境变量 采用yum安装可不设置环境变量 2,下载kettle https://sourceforge.net/projects/pentaho/files/Data%20Integration...%20Integration/7.0/pdi-ce-7.0.0.0-25.zip 3,使用unzip命令对这个压缩包进行解压 unzip pdi-ce-7.0.0.0-25.zip -d “/opt/kettle...” 4,解压后给予相应文件可执行权限 进入到/opt/kettle/data-integration 授予 *.sh +x权限 即可执行权限 5,执行转换 编写测试转换,执行如下命令即可 /opt/kettle-spoon.../data-integration/pan.sh -file=/opt/kettle-spoon/ktr/test/test1.ktr log=test1.log 6,执行job sudo /opt/kettle-spoon.../data-integration/kitchen.sh -file=/opt/kettle-spoon/ktr/test/SechuldUpdate.kjb log=timeLogUpdate.log
在Linux上面kettle-spoon启动问题 文件大小限制问题 修改此文件 /etc/security/limits.conf * soft nofile 327680 * hard nofile
2、Kettle简介 Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。...变量名”文本框输入“JAVA_HOME”,在“变量值”文本框输入JDK的安装路径(也就是步骤5的文件夹路径),单击“确定”按钮 在“系统变量”选项区域中查看PATH变量,如果不存在,则新建变量 PATH...,否则选中该变量,单击“编辑”按钮,在“变量值”文本框的起始位置添加“%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;”或者是直接“%JAVA_HOME%\bin;”,单击确定按钮...在“系统变量”选项区域中查看CLASSPATH 变量,如果不存在,则新建变量CLASSPATH,否则选中该变量,单击“编辑”按钮,在“变量值”文本框的起始位置添加“....在DOS命令行窗口输入“JAVAC”,输出帮助信息即为配置正确。 3、需准备的其他东西:数据库驱动,如将驱动放在kettle根目录的bin文件夹下面即可。
Kettle是用Java语言开发的。它最初的作者Matt Casters原是一名C语言程序员,在着手开发Kettle时还是一名Java小白,但是他仅用了一年时间就开发出了Kettle的第一个版本。...一、Kettle设计原则 Kettle工具在设计之初就考虑到了一些设计原则,这些原则也借鉴了以前使用过的其它一些ETL工具积累下的经验和教训。...和基于流的数据处理引擎,如Kettle相比,它有一大优点:数据库使用的数据都存储在磁盘中。...尽管这样在很多情况下会提高性能,但当不同步骤更新同一个表时,也会带来锁和参照完整性问题。 为了解决打开多个连接而产生的问题,Kettle可以在一个事务中完成转换。...可以在“表输入”步骤里执行一个查询,这个查询就以分区的方式执行:同样的一个查询会被执行五遍,每个数据分区执行一遍。在Kettle里,所有使用数据库连接的步骤都可以使用分片的特性。
本章主要是介绍Kettle的性能优化及效率提升。...一、Kettle调优 1、 调整JVM大小进行性能优化 修改Kettle定时任务中的Kitchen或Pan或Spoon脚本: 修改脚本代码片段 set OPT=-Xmx512m -cp %CLASSPATH...%” -DKETTLE_USER=”%KETTLE_USER%” -DKETTLE_PASSWORD=”%KETTLE_PASSWORD%” -DKETTLE_PLUGIN_PACKAGES=”%...7、延迟转化 很多字段在读入到最后输出,实际上都没有被操作过,开启延迟转化可以让kettle在必要的时候再进行转化。这里的转化是指从二进制到字符串之间的转化,在输入和输出都是文本的时候更为明显。...9、不要在Select Values的步骤删除某个字段 如果在Select Values的步骤删除某个字段,kettle会需要调整现有的存储结构,在可以不删除的时候尽量不要删除字段。
本文要点:Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录。若存在,则更新。...Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。...(引用百度百科) 1、Kettle的下载与安装(在本文中使用的kettle版本为6.1.0.1-196) kettle的最新下载地址:http://community.pentaho.com/projects...在文件->新建装换。 新建转换后在左边的主对象树中建立DB连接用以连接数据库。如图所示: 建立数据库连接的过程与其他数据库管理软件连接数据库类似。 ...4、简单的数据表插入\更新 (1)新建表插入 在左边的面板中选择“核心对象”,在核心对象里面选择“输入->表输入”,用鼠标拖动到右边面板。
Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。...Encr.bat: 密码加密 转换和作业: Kettle 的 Spoon 设计器用来设计转换(Transformation)和 作业(Job)。 ...3.在左边选择输入 这里以简单的生成随机数为输入 ? 双击节点进行配置: ? 4.同理选择输出 这里选择最简单的文本输出 ? ...7.添加转换过程 这里添加一个最常用的字段选择,通过节点连接后,点击获取字段可以选择所有,然后在字段列表进行选择: ? ...11.连接案例 在输入中选择两个自定义常量数据,这个一般用于自己编造测试数据,在连接中选择记录集连接: ?
MySQL批量加载需要在Linux环境运行(有命令只能在Linux下运行) Oracle需要本地有oracle客户端(sqlldr文件,在Oracle安装目录下查找) 三、文件输出 1.SQL文件输出
下载pdi-ce-7.1.0.0-12安装,在lib目录下传mysql的驱动:mysql-connector-5.1.8.jar目前要这个版本 mysql如果连接提示时区有问题,就需要设置下 登入MySQL...mysql> set global max_allowed_packet=1024*1024; mysql> set global time_zone='+8:00'; 方法二: 修改my.ini文件,在[...mysqld]加入以下命令: default-time-zone='+8:00' 方法三: 修改kettle连接MySQL–选项-增加参数()关于时区: useUnicode=true characterEncoding
双击文件节点进入编辑,直接点击浏览进行选择不是很推荐, 推荐使用变量(凡是旁边一个$形状的,都可以根据提示使用变量,内置变量参考这里),单击变量,旁边会显示变量的值,可以进行参考 可以在第一行选择文件或者目录...,选择目录则可以在规则表达式进一步通过正则进行控制 然后点击增加,增加文件到选中的文件框中,之后点击显示文件名进行文件选择结果查看 也可以点击下方从步骤选择文件 继续设置输入的内容页: ?
背景 Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。...所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库。...(不要忘了给个star哦) 发布版本:百度网盘 请输入提取码 提取码 提取码: 52r8 kettle8.0工具下载地址:点击下载 部署 1.基础环境 操作系统:windows(linux...# Kettle Properties #绝对路径,用于初始化kettle环境变量(.kettle/kettle.properties所在路径),指向kettle根目录(例如 D:\data-integration...7.启动tomcat Windows:apache-tomcat-9.0.12\bin\startup.bat; Linux: apache-tomcat
目录 一、安装Java 二、安装Kettle 三、运行Kettle程序 1. 安装Linux图形环境 2. 安装配置VNC Server 3. 在客户端使用vncviewer连接系统 4....安装Linux图形环境 yum groupinstall "X Window System" yum groupinstall GNOME Desktop 2...." Terminal=false Type=Application StartupNotify=true 各属性含义详细说明参见“Linux桌面快捷方式 Desktop Entry 详解...保存文件后,Linux桌面出现spoon图标,如图4所示。 ? 图4 双击spoon图标或者点击图标右键菜单的“Open”,启动spoon.sh程序,打开Kettle设计界面。...为了使操作资源库更容易,Kettle在repositories.xml文件中保存了所有资源库。
文章主要分为六个部分: 1.介绍carte 2.carte相关配置文件的设定 3.carte服务的开启命令 4.在kettle的图形界面中对集群进行相关的设定 5.使用kettle集群模式对相关的数据进行排序...6.有关于集群调用子服务器的java源代码调用实现 1.介绍carte carte是由kettle所提供的web server的程序, carte也被叫做子服务器(slave) 在kettle调用集群...hostname> in this conf file is the localhost which equal to the "127.0.0.1" IP address 当然,对于这个hostname的话,在Linux...3.carte服务的开启命令 Carte 有着针对不同系统可以正常运行的不同脚本文件, 对于Windows有着:Carte.bat 对于Linux有着:carte.sh 本文主要讨论的是基于Windows...在"是主服务器吗?"这个选项中,因为它不是主服务器,所以不对其进行勾选。 接下来将各个子服务器导入到集群中去, 选择左对象树,然后右键单击:Kettle集群schemas->新建。
在表输入里选中所有字段,并按照关键字段排序。...另外,在表比较大时,也会有比较严重的性能问题。因为会有这种性能问题,所以也可以使用SQL来做比较,数据库引擎的性能往往比ETL引擎的性能更好。
可以进行字符串转义(例如> 转义为 >)、保留/去除字符串里的数字、移除特殊字符、补充长度
kettle工具使用简明手册 运行启动脚本spoon.bat快捷方式 如果正确启动,则出现的主界面应该是下面这样的。
Java调用Kettle工具方法 这里需要的主要依赖包下面已列出,其他的运行时缺什么补什么就行: pentaho-kettle kettle-core 7.1.0.0-12 pentaho-kettle...= "D:\\kettle"; private static final String KETTLE_KET_DIR = KETTLE_BASE_DIR + "\\ktr"; private static...final String KETTLE_PLUGIN_DIR = KETTLE_BASE_DIR + "\\plugins"; static { try { log.debug("加载Kettle...true)); log.debug("Kettle插件加载成功"); log.debug("初始化Kettle插件环境"); KettleEnvironment.init(); log.debug("Kettle
传统数据仓库一般利用操作系统自带的调度功能(如Linux的cron或Windows的计划任务)实现作业自动执行。...再比如,开发一般是在Windows或Mac机上进行的,而生产环境一般是Linux系统或集群,ETL解决方案应该可以无缝地在这些系统间切换。...Kettle在设计上就是可扩展的,它提供了一个插件平台。这种插件架构允许第三方为Kettle平台开发插件。Kettle里的所有组件都是插件,即使是默认提供的组件。...在这方面Kettle在ETL工具市场处于领先地位。...Kettle用Java语言开发,因此在使用Kettle命令行时需要注意匹配Java版本。例如Kettle8.2.0版本需要JDK 1.8的支持。
领取专属 10元无门槛券
手把手带您无忧上云