Carte:轻量级的(大概1MB)Web服务器,用来远程执行转换或作业,一个运行有Carte进程的机器可以作为从服务器,从服务器是Kettle集群的一部分。 1. 如果数据源和目标之间需要通过网络传输大量数据,将Kettle部署于源或目标服务器上会极大提升性能。 Carte Carte服务用于执行一个作业,就想Kitchen一样。 远程机器客户端给Carte发出一个请求,在请求里包含了作业的定义。当Carte接到了这样的请求后,它验证请求并执行请求里的作业。Carte也支持其它几种类型的请求。 集群可将单个工作或转换分成几部分,在Carte服务器的多个计算机上并行执行,因此可以分散工作负载。
作业中的并行执行 二、Carte子服务器 1. 创建Carte子服务器 2. 定义子服务器 3. 远程执行 4. 监视子服务器 5. Carte安全 6. 服务 三、集群转换 1. 图10-10 并行更新多张维度表 二、Carte子服务器 子服务器是Kettle的组成模块,用来远程执行转换和作业,物理上体现为Carte进程。 客户端给Carte服务器提交zip文件的内容。 作为控制器的Carte服务器就是主服务器,其它的Carte服务器就是子服务器。本节将介绍怎样配置和执行一个转换,让其运行在多台机器上。 slaveserver节点包含有关此Carte子服务器实例的信息。 (3)启动主服务器 ./carte.sh ~/kettle_hadoop/master.xml (4)启动子服务器 .
2核2G云服务器 每月9.33元起,个人开发者专属3年机 低至2.3折
一个集群模式包括一个主服务器和多个子服务器,主服务器作为集群的控制器。简单地说,作为控制器的Carte服务器就是主服务器,其他的Carte服务器就是子服务器。 一个集群模式也包含元数据,元数据描述了主服务器和子服务器之间怎样传递数据。在Carte服务器之间通过TCP/IP套接字传递数据。 建立子服务器 (1)打开PDI,新建一个转换。 (2)在“主对象树”标签的“转换”下,右键点击“子服务器”,新建三个子服务器。如图1所示。 集群模式中加入了上一步建立的一主两从Carte子服务器。 3. 编辑转换 (1)建立转换如图8所示。 图8 说明: . /carte.sh pwd/carte-config-8181.xml (6)在192.168.56.103上执行下面的命令启动slave2。
:Pan、Kitchen API:Kettle Java API 嵌入到其他应用 1.Spoon 本地运行:前面的都是采用本地运行,直接点击运行按钮进行运行的,不再赘述 远程:Carte , • Carte 是内嵌 Jetty 的 http server。 • Carte执行命令 carte localhost 8080 需要现在服务器上运行命令,格式为carte ip 端口 (端口可以随意,只要不冲突即可) carte localhost 8080 // 主要命令的位置(未配置PATH需要切到指定目录) 然后在转换的主对象下找到子服务器 ?
4.Carte:嵌入式Web服务,用于远程执行Job或Transformation,Kettle通过Carte建立集群。 Kettle集群是通过Carte服务组建的,集群模式主要用于远程执行Job。 本质上来讲Carte就是一个Web服务,其实就是使用了一个嵌入式Jetty容器。 初次调用Carte HTTP服务时用户名/密码: cluster/cluster。 启动master节点 启动master节点很简单,直接启动Carte服务即可,如:sh carte.sh localhost 8080 或者通过配置文件启动Master节点,首先编辑Master配置内容如下 <init>(SlaveServerConfig.java:200) at org.pentaho.di.www.Carte.parseAndRunCommand(Carte.java:
(4)kettle.pwd 使用Carte服务执行作业需要授权。默认情况下,Carte只支持最基本的授权方式,就是将密码保存在kettle.pwd文件中。 如果使用Carte服务,尤其当Carte服务不在局域网范围内时,就要编辑kettle.pwd文件,至少要更改默认的密码。直接使用文本编辑器就可以编辑。 Carte服务会读取当前启动路径下的repositories.xml文件。如果当前路径下没有,会使用上面的用户本地目录下的.kettle目录下的repositories.xml文件。 (6)shared.xml Kettle里有一个概念叫共享对象,共享对象就是类似于转换的步骤、数据库连接定义、集群服务器定义等这些可以一次定义,然后在转换和作业里多次引用的对象。 共享对象在概念上和资源库有一些重叠,资源库也可以被用来共享数据库连接和集群服务器的定义。
Kettle工具主要有四个组件组成,分别是Spoon,Pan,Kitchen以及Carte组件,具体功能如下: *Spoon为集成开发软件,用于构建作业和转换,执行或调试作业和转换,还可以用于监控 *Kitchen以命令行的方式执行Spoon生成的作业程序 *Carte是一个重要组件,是基于Jetty的轻量级HTTP服务器,主要用于监控HTTP执行作业和转换的进度。
RWS-Diff: Flexible and Efficient Change Detection in Hierarchical Data; open-union 包和 data types à la carte ; 将 Abstracting Definitional Interpreters 的实现扩展,使其可以处理语法项的à la carte 表示。
(本机模拟可以通过carte不同端口来模拟启动,然后在kettle的子服务器中配置,默认集群用户名cluster/cluster,然后在kettle集群中添加集群) 使用的方式在步骤右击,选择集群进行配置
用到的工具包括命令行工具(Pan),小型服务器(Carte),数据库存储库(repository)(Kitchen)或者直接使用IDE(Spoon)。
Carte.bat,轻量级的Http服务器(基于Jetty),后台运行,监听Http请求来运行一个作业。Carte用于分布式和协调跨机器执行作业,也就是Kettle的集群。 待续......
本期的每周一库带来的是rust下的轻量级单元测试框架laboratory laboratory相关链接 laboratory github laboratory carte.io 根据laboratory
它由 4 个主要支柱组成,如下所示: 本文之前图片显示的两种计费方式,绘制成图表如下: 上图左边的 Subscrption 订阅模式为 A la carte(按照菜单点菜)模式。
A la Carte: 自定义软件+自定义参数。 ? PART1 输 入 我们使用One Click来进行演示。
Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。
系统层: 实时掌握服务器工作状态,留意性能、内存消耗、容量和整体系统健康状态,保证服务器稳定运行。 我们监控Kettle Carte、spark、jstorm等用的这种实现思路。 output: 将收集到的度量数据序列化存储,Telegraf指标由四个部分组成:度量、标签、字段、时间戳。 社区版只支持单台服务器,会有单点故障风险,商业版版支持高可用,对我们来说,单机InfluxDB已经能满足需求。
一般常用的连接参数为: 主机名:数据库服务器的主机名或IP地址。 数据库名:要访问的数据库名。 端口号:默认是选中的数据库服务器的默认端口号。 用户名和密码:连接数据库服务器的用户名和密码。 Carte:轻量级(大概1MB)Web服务器,用来远程执行转换或作业。一个运行有Carte进程的机器可以作为从服务器,从服务器是Kettle集群的一部分。 远程机器客户端给Carte发出一个请求,在请求里包含了作业的定义。当Carte接到了这样的请求后,它验证请求并执行请求里的作业。 Carte也支持其它几种类型的请求,这些请求用于获取Carte的执行进度、监控信息等。 Carte是Kettle集群中一个重要的构建模块。 集群可将单个工作或转换分成几部分,在Carte服务器所在的多个计算机上并行执行,因此可以分散工作负载。关于Carte以及Kettle集群的配置和使用,详见本专题的(十一)Kettle集群与数据分片。
Web 服务器,它提供了一个方便的用户界面来检查、触发和调试 DAG 和任务的行为。 DAG 文件的文件夹,由调度程序和执行程序(以及执行程序拥有的任何工作人员)读取 元数据数据库,由调度程序、执行程序和网络服务器用来存储状态。 Adapton 提供了一个增量计算的编程语言抽象,官网:http://adapton.org/ 提供了非常不错的参考资料 除此,在构建工具方面,在这一方面微软研究院的《Build Systems à la Carte 》提供了一个非常不错的介绍,如果你可以参考这一篇《【工业聚看论文】第一期:《Build Systems à la Carte: Theory and Practice》 (PS:因微信限制,链接请https
云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。 腾讯云服务器(CVM)为您提供安全可靠的弹性云计算服务。只需几分钟,您就可以在云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。
扫码关注腾讯云开发者
领取腾讯云代金券