首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Kettle工具——Spoon、Kitchen、Pan、Carte

Carte:轻量级的(大概1MB)Web服务器,用来远程执行转换或作业,一个运行有Carte进程的机器可以作为从服务器,从服务器是Kettle集群的一部分。 1....如果数据源和目标之间需要通过网络传输大量数据,将Kettle部署于源或目标服务器上会极大提升性能。...Carte Carte服务用于执行一个作业,就想Kitchen一样。...远程机器客户端给Carte发出一个请求,在请求里包含了作业的定义。当Carte接到了这样的请求后,它验证请求并执行请求里的作业。Carte也支持其它几种类型的请求。...集群可将单个工作或转换分成几部分,在Carte服务器的多个计算机上并行执行,因此可以分散工作负载。

5.1K10

Kettle构建Hadoop ETL实践(十):并行、集群与分区

作业中的并行执行 二、Carte服务器 1. 创建Carte服务器 2. 定义子服务器 3. 远程执行 4. 监视子服务器 5. Carte安全 6. 服务 三、集群转换 1....图10-10 并行更新多张维度表 二、Carte服务器服务器是Kettle的组成模块,用来远程执行转换和作业,物理上体现为Carte进程。...客户端给Carte服务器提交zip文件的内容。...作为控制器的Carte服务器就是主服务器,其它的Carte服务器就是子服务器。本节将介绍怎样配置和执行一个转换,让其运行在多台机器上。...slaveserver节点包含有关此Carte服务器实例的信息。 (3)启动主服务器 ./carte.sh ~/kettle_hadoop/master.xml (4)启动子服务器 .

1.6K51
您找到你想要的搜索结果了吗?
是的
没有找到

Pentaho Work with Big Data(八)—— kettle集群

一个集群模式包括一个主服务器和多个子服务器,主服务器作为集群的控制器。简单地说,作为控制器的Carte服务器就是主服务器,其他的Carte服务器就是子服务器。        ...一个集群模式也包含元数据,元数据描述了主服务器和子服务器之间怎样传递数据。在Carte服务器之间通过TCP/IP套接字传递数据。...建立子服务器 (1)打开PDI,新建一个转换。 (2)在“主对象树”标签的“转换”下,右键点击“子服务器”,新建三个子服务器。如图1所示。...集群模式中加入了上一步建立的一主两从Carte服务器。 3. 编辑转换 (1)建立转换如图8所示。 图8 说明: ..../carte.sh pwd/carte-config-8181.xml (6)在192.168.56.103上执行下面的命令启动slave2。

47720

Kettle Carte集群 在windows 上的部署与运行

6.有关于集群调用子服务器的java源代码调用实现 1.介绍carte carte是由kettle所提供的web server的程序, carte也被叫做子服务器(slave) 在kettle调用集群..."Carte是一个轻量级的服务器进程,可以远程监控和开启转换集群的能力". 2.carte相关配置文件的设定 与hadoop的结点设置类似,本实验将要实现的是基于一台主机, 开启四个carte服务,其中一台为...简而言之,我们把开启的主控Carte 服务器 叫做 主节点 而其他的Carte 服务器叫做 从结点"。...如果一开始配置文件中没有该节点的话,就无法启动Carte服务, 在Spoon中也就无法调用该Carte作为子服务器,更不用说是将该子服务器作为集群中的节点了。...所以今后在Spoon中设定配置子服务器的时候,一定要先配置好Carte的配置文件才好。

9310

Kettle与Hadoop(二)Kettle安装配置

(4)kettle.pwd 使用Carte服务执行作业需要授权。默认情况下,Carte只支持最基本的授权方式,就是将密码保存在kettle.pwd文件中。...如果使用Carte服务,尤其当Carte服务不在局域网范围内时,就要编辑kettle.pwd文件,至少要更改默认的密码。直接使用文本编辑器就可以编辑。...Carte服务会读取当前启动路径下的repositories.xml文件。如果当前路径下没有,会使用上面的用户本地目录下的.kettle目录下的repositories.xml文件。...(6)shared.xml Kettle里有一个概念叫共享对象,共享对象就是类似于转换的步骤、数据库连接定义、集群服务器定义等这些可以一次定义,然后在转换和作业里多次引用的对象。...共享对象在概念上和资源库有一些重叠,资源库也可以被用来共享数据库连接和集群服务器的定义。

6K50

Kettle构建Hadoop ETL实践(一):ETL与Kettle

一般常用的连接参数为: 主机名:数据库服务器的主机名或IP地址。 数据库名:要访问的数据库名。 端口号:默认是选中的数据库服务器的默认端口号。 用户名和密码:连接数据库服务器的用户名和密码。...Carte:轻量级(大概1MB)Web服务器,用来远程执行转换或作业。一个运行有Carte进程的机器可以作为从服务器,从服务器是Kettle集群的一部分。...远程机器客户端给Carte发出一个请求,在请求里包含了作业的定义。当Carte接到了这样的请求后,它验证请求并执行请求里的作业。...Carte也支持其它几种类型的请求,这些请求用于获取Carte的执行进度、监控信息等。 Carte是Kettle集群中一个重要的构建模块。...集群可将单个工作或转换分成几部分,在Carte服务器所在的多个计算机上并行执行,因此可以分散工作负载。关于Carte以及Kettle集群的配置和使用,详见本专题的(十一)Kettle集群与数据分片。

4.3K78

自动增量计算:构建高性能数据分析系统的任务编排

Web 服务器,它提供了一个方便的用户界面来检查、触发和调试 DAG 和任务的行为。...DAG 文件的文件夹,由调度程序和执行程序(以及执行程序拥有的任何工作人员)读取 元数据数据库,由调度程序、执行程序和网络服务器用来存储状态。...Adapton 提供了一个增量计算的编程语言抽象,官网:http://adapton.org/ 提供了非常不错的参考资料 除此,在构建工具方面,在这一方面微软研究院的《Build Systems à la Carte...》提供了一个非常不错的介绍,如果你可以参考这一篇《【工业聚看论文】第一期:《Build Systems à la Carte: Theory and Practice》 (PS:因微信限制,链接请https

1.2K21
领券