首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何在Pentaho 8.0中记录每个步骤

在Pentaho 8.0中,可以通过以下步骤记录每个步骤:

  1. 打开Pentaho 8.0的图形化界面,进入作业(Job)或转换(Transformation)编辑器。
  2. 在作业或转换中,选择要记录步骤的位置。
  3. 在选定位置上右键单击,选择“插入记录步骤”(Insert Logging Step)。
  4. 在弹出的对话框中,选择要记录的信息级别,如错误、警告、信息等。
  5. 配置记录步骤的属性,包括日志文件路径、日志文件名、日志文件格式等。
  6. 确认配置后,保存作业或转换。

通过以上步骤,Pentaho 8.0将会在每个步骤执行时记录相关信息到指定的日志文件中。记录的信息包括步骤的执行时间、输入输出记录数、错误信息等。

Pentaho 8.0是一款开源的商业智能(BI)和数据集成软件,它提供了丰富的数据处理和分析功能。记录每个步骤的执行情况可以帮助开发人员进行故障排查、性能优化和数据追踪等工作。

腾讯云提供了一系列与数据处理和分析相关的产品和服务,其中包括云数据仓库、云数据库、云计算引擎等。您可以访问腾讯云的官方网站(https://cloud.tencent.com/)了解更多信息。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

NoSQL为什么需要模式自由的ETL工具?

他们可能会有十个步骤来加载数据,设置一些临时变量(JSON集合名称,也许是在目标JSON结构中的一些常量或计算字段),然后将数据加载到特定的集合中。...PDI辅助数据发现和语义关系发现 但是如何在Hadoop或NoSQL中加载一个可变数据湖,其中包含变化很大的结构呢? 那么,Pentaho数据集成也可以加载这些数据。...其步骤所做的是确定每个数据的类型(不考虑源系统中的数据类型),并确定该字段是分类的还是连续的。它计算唯一的、空值和连续字段的数量,计算最小、最大、中位数和平均值,以及偏度和离散度。...简而言之,需要确定源系统中每个字段和每个数据的组成。...然后,将其公开给Pentaho商业分析仪表板,可以在笔记本电脑上查询和查看几千条记录,并在几秒钟内执行。

1.8K100

01-PDI(Kettle)简介与安装

本博客下载的版本为8.2版本,具体下载地址为: https://sourceforge.net/projects/pentaho/files/Pentaho%208.2/client-tools/...(一个控件对应启动一个线程),然后数据流会从第一个控件开始,一条记录,一条记录的流向最后的控件。...步骤step 一个步骤有如下几个关键特性: 步骤需要名字,名字在同一个转换范围内唯一 每个步骤都会读写数据行,唯一例外是“生成记录步骤 步骤将数据写到与之相连的一个或多个输出跳hop,再传到到跳的另一端的步骤...在转换的空白处双击,会弹出转换属性 元数据 每个步骤在输出数据行时都有对字段的描述,这种描述就是数据行的元数据。通常包含如下信息。 名称:数据行里的字段名是唯一的 数据类型:字段的数据类型。...格式:数据显示的方式,Integer的#,0.00 长度: 精度 货币符号 小数点符号 分组符号 并行 跳的这种基于行缓存的规则,允许每个步骤都由一个独立的线程运行,这样并发程度最高。

2K20

kettle的基础概念入门、下载、安装、部署

2)、转换包含一个或多个步骤(step),读取文件、过滤数据行、数据清洗或将数据加载到数据库。   ...5)、数据流有的时候也被称之为记录流。 16、Kettle里面的,Step步骤(控件)是转换里的基本的组成部分。...一个步骤有如下几个关键特性:   1)、步骤需要有一个名字,这个名字在转换范围内唯一。   2)、每个步骤都会读、写数据行(唯一例外是"生成记录"步骤,该步骤只写数据)。   ...一个步骤的数据发送可以被被设置为分发和复制,分发是目标步骤轮流接收记录,复制是所有的记录被同时发送到所有的目标步骤。 17、Kettle里面的,Hop跳(即图元之间的连线)。   ...跳的这种基于行集缓存的规则允许每个步骤都是由一个独立的线程运行,这样并发程度最高。这一规则也允许数据以最小消耗内存的数据流的方式来处理。

9.6K20

kettle学习【大牛经验】

(官方社区:http://forums.pentaho.com/;官网wiki:http://wiki.pentaho.com/display/COM/Community+Wiki+Home;源码地址:...https://github.com/pentaho/pentaho-kettle) 安装kettle 1.kettle是基于java开发的,所以需要java环境(下载jdk:http://www.oracle.com...第六步:分组(统计-->分组),双击控件后有两个需要关注,一个是分组(相当于group by);一个是聚合(相当于count、sum等函数) 第七步:记录关联(连接-->记录关联(笛卡尔输出));这是一个...在Linux中以kitchen.sh执行job任务,pan.sh执行transform任务;这里我们以上面为实例,如何在Linux中进行部署。...那么如何在kettle生产中利用邮件功能呢?我们可以将kettle的转换信息、统计信息、错误信息以文件的形式放入到指定的位置(或形成指定的参数),使用邮件以附件形式发送这些信息。 流程: ?

4.3K21

【性能分析】大数据分析工具

这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,杂志,报纸,文章。大数据产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频和图像档案,及大型电子商务。...Storm的处理速度惊人:经测 试,每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错,很容易设置和操作。...它的出现,使得一系列的面向商务智能的独立产品Jfree、Quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解决方案。...Pentaho SDK共包含五个部分:Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。...其中Pentaho平台是Pentaho平台最主要的部分,囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务,包括配置信息、Solution相关的信息等等

1.1K50

6个用于大数据分析的最好工具

这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,杂志,报纸,文章。大数据产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频 和图像档案,及大型电子商务。...Storm的处理速度惊人:经测 试,每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错,很容易设置和操作。...它的出现,使得一系列的面向商务智能的独立产品Jfree、Quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解 决方案。 ?...Pentaho SDK共包含五个部分 Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。...其中Pentaho平台是Pentaho平台最主要的部分,囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务,包括配置信息、Solution相关的信息等等

89120

6个用于大数据分析的最好工具

这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,杂志,报纸,文章。大数据产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频和图像档案,及大型电子商务。...Storm的处理速度惊人:经测 试,每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错,很容易设置和操作。...它的出现,使得一系列的面向商务智能的独立产品Jfree、Quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解决方案。 ?...Pentaho SDK共包含五个部分:Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。...其中Pentaho平台是Pentaho平台最主要的部分,囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务,包括配置信息、Solution相关的信息等等

1.1K50

【工具】六大工具帮你做好大数据分析

这些数据集收集自各种各样的来源:传感器、气候信息、公开的信息、杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。...Storm的处理速度惊人:经测 试,每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错,很容易设置和操作。...它的出现,使得一系列的面向商务智能的独立产品Jfree、Quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解决方案。...Pentaho SDK共包含五个部分:Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。...其中Pentaho平台是Pentaho平台最主要的部分,囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务,包括配置信息、Solution相关的信息等等

96570

6个用于大数据分析的最好工具

这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,杂志,报纸,文章。大数据产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频和图像档案,及大型电子商务。...Storm的处理速度惊人:经测 试,每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错,很容易设置和操作。...它的出现,使得一系列的面向商务智能的独立产品Jfree、Quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解决方案。 ?...Pentaho SDK共包含五个部分:Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。...其中Pentaho平台是Pentaho平台最主要的部分,囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务,包括配置信息、Solution相关的信息等等

69320

一招教你用Kettle整合大数据和Hive,HBase的环境!

作为一名互联网小白,写博客一方面是为了记录自己的学习历程,一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限,博客中难免会有一些错误,有纰漏之处恳请各位大佬不吝赐教!...修改配置文件 我们打开Kettle安装目录下的pentaho-big-data-plugin文件夹 data-integration\plugins\pentaho-big-data-plugin...移动jar包路径 我们进入到cdh15文件夹的lib目下 data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\...操作路径为: data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514 本步骤中,我们需要替换的配置文件有...看到步骤2这样测试显示的结果,说明我们的环境就整合好了~ ? ---- 本篇只是环境整合篇,还未涉及到与Kettle任何实质性的操作,因此就到这就先结束了。

1.6K40

Kettle安装详细步骤和使用示例

作为Pentaho的一个重要组成部分,现在在国内项目应用上逐渐增多。...转换包括一个或多个步骤读取文件、过滤输 出行、数据清洗或将数据加载到数据库。 ➢转换里的步骤通过跳来连接,跳定义了一个单向通道,允许数据从一个步 骤向另一个步骤流动。...在Kettle里,数据的单位是行,数据流就是数据行 从一个步骤到另一个步骤的移动。数据流的另一个同义词就是记录流。...当行集 空了,从行集读取数据的步骤停止读取,直到行集里又有可读的数据行 *注意:*因为在转换里每个步骤都依赖前一个步骤获取字段值,所以当创建 新跳的时候,跳的方向是单向的,不能是双向循环的。...,我这里设置为2,点击 “确定”后,将可以查看学生 表的数据记录信息。

2.9K10

Kettle教程一:Kettle简介和Kettle的部署安装

Kettle(现在已经更名为PDI,Pentaho Data Integration-Pentaho数据集成)。...我的电脑】---【属性】-----【高级】---【环境变量】 选择【新建系统变量】--弹出“新建系统变量”对话框,在“变量名”文本框输入“JAVA_HOME”,在“变量值”文本框输入JDK的安装路径(也就是步骤...3、需准备的其他东西:数据库驱动,将驱动放在kettle根目录的bin文件夹下面即可。...%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms2058m" "-Xmx1024m" "-XX:MaxPermSize=256m" 改为 if "%PENTAHO_DI_JAVA_OPTIONS...3、kettle无法创建xml相关步骤,有相关步骤的.ktr文件也打不开 可能是因为路径中包含中文,将整个安装包移动到桌面或其他没有中文字符的路径下,重启Spoon.bat即可。

63.2K66

etl调度工具必备的10个功能属性

还有很多很多 从有分隔符和固定格式的ASCII文件中获取数据 从XML文件中获取数据 从流行的办公软件中获取数据,Access数据库和Excel电子表格 使用FTP、SFTP、SSH方式获取数据(最好不用脚本...如果还需要一些ERP系统里的数据,Oracle E-Business Suite、SAP/R3、PeopleSoft 或 JD/Edwards,ETL工具也应该提供到这些系统的连接。...转换里的每个步骤都是以并发的方式来执行,并且可以执行多次,这样加快了处理速度。 Kettle在运行转换时,根据用户的设置,可以将数据以不同的方式发送到多个数据流中(有两种几本发送方式:分发和复制)。...内置的第三方插件和Pentaho插件的唯一区别就是技术支持。假设你买了一个第三方插件(例如一个SugarCRM的连接),技术支持由第三方提供,而不是由Pentaho提供。...为了保证这阵可靠性,同时保证可以记录下所有的数据转换操作,ETL工具应该提供日志和审计功能。 日志可以记录下在转换过程中执行了哪些步骤,包括每个步骤开始和结束时间戳。

1.5K30

开源ETL工具之Kettle介绍

5.Encr:Kettle用于字符串加密的命令行工具,:对在Job或Transformation中定义的数据库连接参数进行加密。 ?...Transformation:定义对数据操作的容器,数据操作就是数据从输入到输出的一个过程,可以理解为比Job粒度更小一级的容器,我们将任务分解成Job,然后需要将Job分解成一个或多个Transformation,每个...4.Job Entry:Job Entry是Job内部的执行单元,每一个Job Entry用于实现特定的功能,:验证表是否存在,发送邮件等。...启动master节点 启动master节点很简单,直接启动Carte服务即可,:sh carte.sh localhost 8080 或者通过配置文件启动Master节点,首先编辑Master配置内容如下...【参考资料】 http://www.pentaho.com/ Pentaho主页 https://github.com/pentaho/pentaho-kettle Kettle源码 https:

5.6K10
领券