首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Nifi:属性处理器上路由到错误的处理器

Nifi是一个开源的数据流处理工具,它提供了一种可视化的方式来构建、管理和监控数据流。Nifi的核心概念是数据流和处理器。数据流代表数据在系统中的流动路径,而处理器则是执行特定操作的组件。

在Nifi中,属性处理器是一种特殊类型的处理器,用于处理数据流中的属性。属性是与数据流一起传递的键值对,可以包含有关数据的元数据信息。属性处理器可以对属性进行操作,例如提取、修改、删除等。

当属性处理器上的数据流到达错误的处理器时,可能是由于配置错误或者数据流的路由规则不正确导致的。为了解决这个问题,可以按照以下步骤进行排查和修复:

  1. 检查属性处理器的配置:确保属性处理器的配置正确,包括输入和输出端口的设置、属性的操作方式等。可以参考Nifi官方文档或者相关教程来了解属性处理器的正确配置方法。
  2. 检查数据流的路由规则:属性处理器通常会根据属性的值来决定数据流的路由路径。检查属性处理器的路由规则,确保属性的值与预期的路由路径相匹配。如果路由规则不正确,可以进行相应的调整。
  3. 检查其他处理器的配置:如果属性处理器的输出连接到其他处理器,也需要检查这些处理器的配置。确保它们能够正确处理属性处理器输出的数据流。
  4. 监控和日志:在Nifi中,可以通过监控和查看日志来了解数据流的运行情况。通过监控和日志,可以查看数据流在各个处理器之间的传递情况,以及属性的值是否符合预期。

总结起来,当Nifi的属性处理器上的数据流路由到错误的处理器时,需要检查属性处理器的配置、数据流的路由规则、其他处理器的配置,并通过监控和日志来排查和修复问题。具体的修复方法需要根据具体情况进行调整。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

大数据NiFi(二十):实时同步MySQL数据Hive

,获取对应binlog操作类型,再将想要处理数据路由“EvaluateJsonPath”处理器,该处理器可以将json格式binlog数据解析,通过自定义json 表达式获取json数据中属性放入...FlowFile属性,将FlowFile通过“ReplaceText”处理器获取上游FowFile属性,动态拼接sql替换所有的FlowFile内容,将拼接好sql组成FlowFile路由“PutHiveQL...注意:该处理器允许用户自定义属性并指定该属性匹配表达式。属性与动态属性指定属性表达式相匹配FileFlow,映射到动态属性。...之后重启NiFi集群,各个NiFi节点执行命令: service nifi restart 七、配置“PutHiveQL”处理器 “PutHiveQL”主要执行HiveQLDDL/DML命令,传入给该处理器...默认false指的是如果在处理FlowFile时发生错误,则FlowFile将根据错误类型路由“failure”或“retry”关系,处理器继续处理下一个FlowFile。

2.6K121

PutHiveStreaming

默认情况下(false),如果在处理一个流文件时发生错误,该流文件将根据错误类型路由“failure”或“retry”关系,处理器可以继续处理下一个流文件。...默认情况下(false),如果在处理一个流文件时发生错误,该流文件将根据错误类型路由“failure”或“retry”关系,处理器可以继续处理下一个流文件。...success 一个包含Avro记录流文件,在该记录成功传输到Hive后路由这个关系。 failure 如果无法将Avro记录传输到Hive,则包含路由到此关系Avro记录流文件。...写属性 Name Description hivestreaming.record.count 此属性写入路由“成功”和“失败”关系流文件,并包含分别写入成功和未成功传入流文件中记录数。...query.output.tables 此属性写在路由“成功”和“失败”关系流文件,并在“databaseName”中包含目标表名,表格式。 状态管理 此组件不存储状态。

94430

大数据NiFi(十七):NiFi术语

二、FlowFile FlowFile代表NiFi单个数据。FlowFile由属性(attribute)和内容(content)组成。...filename:在将数据存储磁盘或外部服务时可以使用可读文件名 path:在将数据存储磁盘或外部服务时可以使用分层结构值,以便数据不存储在单个目录中。...三、Processor 处理器NiFi组件,用于监听传入数据、从外部来源提取数据、将数据发布到外部来源、路由,转换或从FlowFiles中提取信息。...四、Relationship 每个处理器都有零个或多个关系。这些关系指示如何对FlowFile进行处理:处理器处理完FlowFile后,它会将FlowFile路由(传输)其中一个关系。...除了每个组件"黄色三角形"警告以外,每个组件运行有错误时还会报告错误公告,这个错误会显示在处理器右上角,以红色图标显示。系统级公告显示在页面顶部附近状态栏

1.5K11

Apache NiFi安装及简单使用

6、右键启动GetFIle与PutFIle,可以看到结果,输入目录中文件同步,输出目录中了 ? 注意:操作过程中,注意错误排查 1、Processor警告 ?...2、Processor错误 ? 简单使用2 先来添加处理器 ? 这里选择getfile处理器,它会获取本地磁盘数据,然后删除源文件 ?...内容是数据本身,属性是与数据相关key-value键值对,用于描述数据 2.Processor Processor可以用来创建、发送、接受、转换、路由、分割、合并、处理 FlowFiles。...,也可选择在数据流恢复时发送通知 RouteOnAttribute:根据FlowFile包含属性路由FlowFile ScanAttribute:扫描FlowFile属性,看是否有匹配属性 RouteOnContent...每当一个新文件进入HDFS,它被复制NiFi中。该处理器仅在主节点运行,如果在群集中运行。为了从HDFS中复制数据并保持原样,或者从集群中多个节点流出数据,请参阅ListHDFS处理器

5.5K21

Apache Nifi工作原理

这是疯狂水流。就像您应用程序处理疯狂数据流一样。如果您独自完成所有工作,那么很难将数据从一个存储路由另一个存储,应用验证规则并解决数据治理,大数据生态系统中可靠性问题。...Nifi在构建数据管道方面更具表现力;它目的就是这样做。 强大 NiFi提供了许多 开箱即用处理器Nifi 1.9.2中为293个)。您站在巨人肩膀。...Nifi是在这些服务之间路由数据可靠方法。 • 物联网将大量数据带到云中。...• 您希望您同僚对您创建错误处理流程提供 反馈吗?NiFi决定将错误路径视为有效结果,这是一项设计决策。期望流程审查比传统代码审查要短。 你应该使用NiFi吗? NiFi品牌本身就易于使用。...放大NiFi处理器以进行记录验证 -管道构建器指定了高级配置选项,黑框隐藏了实现细节。 这些处理器属性NiFi与您应用程序需求之间最后联系。

2.8K10

0624-6.2.0-NiFi处理器介绍与实操

如果我们将目录名(Input Directory)设置为“/data/nifi”,注意这里配置是绝对路径,这样NiFi就会开始采集该目录任何数据。我们可以选择为此处理器配置多个不同属性。...如果处理器能够成功处理数据,则将数据路由下一个节点,否则如果处理器由于某种原因无法处理数据,则会以完全不通方式路由别的地方。...或者根据实际情况,也可以将2个relationships都路由相同地方。 2.现在我们已经添加并配置了我们GetFile处理器并应用了配置,我们可以在处理器左上角看到一个警告图标( ?...将鼠标悬停在GetFile处理器处理器中间会显示连接图标。 ? 6.我们可以将此图标从GetFile处理器拖到LogAttribute处理器。...让我们通过设置LogAttribute处理器将成功数据路由 "Auto Terminated”,这样NiFi会当FlowFile处理完成后“drop”掉数据。

2.3K30

Apache NIFI 讲解(读完立即入门)

强大 NIFI提供了许多开箱即用处理器。使用者其实是站在巨人肩膀。这些标准处理器可以处理你可能遇到绝大多数需求。 NIFI是高度并发,但其内部封装了相关复杂性。...NIFI是在这些服务之间路由数据可靠方法。 物联网将大量数据带到云中。...你是否需要同行反馈,以帮助你创建新错误处理流程?NIFI决定将错误路径视为有效结果,这是一项设计决策。期望流程审查比传统代码审查要短。 你应该使用它吗?或许吧 NIFI本身就易于使用。...下图总结了带有压缩FlowFiles内容处理器示例。 ? Reliability NIFI声称是可靠,实际如何?...处理器提供了多个配置设置界面以微调其行为。 ? 这些处理器属性NIFI与你应用程序需求之间最后联系。细节很重要,所以pipeline建设者会花费大部分时间来微调这些属性以匹配预期行为。

9.6K91

大数据NiFi(二):NiFi架构

数据进入一个节点,由该节点对数据进行处理,根据不同处理结果将数据路由后续其他节点进行处理。这是NiFi流程比较容易可视化一个原因。...以下是NiFi一些概念:NiFi术语描述FlowFileFlowFile 是系统间传输对象,FlowFile有attribute和content,attribute属性是与数据关联key-value...Processor可以访问零多个FlowFile属性和内容,可以提交或回退提交任务。...Connection通常和Processor一个或者多个Relationship连接,这就允许根据处理器不同数据处理结果来路由数据。...此外,我们可以通过集群中任何节点UI与NiFi集群进行交互,所做任何更改都会复制集群中所有节点。​

1.9K71

大数据NiFi(十九):实时Json日志数据导入Hive

​实时Json日志数据导入Hive 案例:使用NiFi将某个目录下产生json类型日志文件导入Hive。...这里首先将数据通过NiFi将Json数据解析属性,然后手动设置数据格式,将数据导入HDFS中,Hive建立外表映射此路径实现外部数据导入Hive中。...,支持${filename}属性指定模式。如果NiFi重启,已经滚动文件也能从停止位置监控。 Base directory (基本目录) 用于查找需要tail文件基本目录。...配置步骤如下: 1、创建“TailFile”处理器 ​ 2、配置“PROPERTIES” ​ 注意:以上需要在NiFi集群中每个节点创建“/root/test/jsonfile”文件,“jsonfile...如果目标是"flowfile-attribute",而表达式不匹配任何内容,那么将使用空字符串作为属性值,并且FlowFile将始终被路由"matched"。

1.9K91

大数据NiFi(二十一):监控日志文件生产Kafka

一、​​​​​​​配置“TailFile”处理器创建“TailFile”处理器并配置:注意:以上需要在NiFi集群中每个节点创建“/root/test/logdata”文件,“logdata”是文件...对应Kafka'acks'属性。可以配置项如下:Best Effort (尽力交付,相当于ack=0):在向Kafka节点写出消息后,FlowFile将被路由成功,而不需要等待响应。...这提供了最好性能,但可能会导致数据丢失。例如:消息写出到Kafka节点,但是对应节点挂掉,这时将消息路由成功。...如果发送数据Kafka有问题,并且这个属性设置为false,那么已经发送到Kafka消息将继续发送,并被传递给消费者。...如果发送数据Kafka有问题,并且这个属性设置为false,那么已经发送到Kafka消息将继续发送,并被传递给消费者。

95171

使用Apache NiFi 2.0.0构建Python处理器

NiFi 一个突出特点是其高度可配置特性,允许用户根据其特定要求定制数据路由、转换和系统中介逻辑。...本机支持反压和错误处理,确保数据处理管道中稳健性和可靠性。 全面了解数据流动态,实现有效监控和故障排除。 为什么在 Apache NiFi 中使用 Python 构建?...Apache NiFi 是一个用于数据摄取、转换和路由强大工具。...对于文本文本、文本图像或文本语音处理等任务,你可以编写 Python 代码与相关模型或服务进行交互,并将此处理合并到你 NiFi 管道中。...一个示例处理器:Watson SDK 基础 AI 模型 此 Python 代码定义了一个名为 NiFi 处理器,它与 IBM WatsonX AI 服务进行交互,以根据输入提示生成响应。

11510

Edge2AI之从边缘摄取数据

右键单击处理器,选择配置(或者,只需双击处理器)。在属性选项卡,设置如下所示属性以运行我们 Python 模拟脚本。...或者,单击输入端口将其选中,然后按操作面板开始(“play”)按钮: 您将需要Input Port ID来完成ConsumeMQTT处理器与 RPG (NiFi) 连接。...尝试单击其中一条消息Info、Eye和Provenance图标,以分别查看消息属性、内容和出处详细信息。 例如,每条消息中传感器读数都包含温度值,这些值都应该在 0 100 摄氏度之间。...您现在可以停止该模拟器(停止 NiFi 处理器)。 实验 3 - 更新流程以在边缘执行额外处理 在之前实验中,我们注意一些传感器间歇性地发送错误测量值。...如果我们让这些测量由我们下游应用程序处理,我们可能会遇到这些应用程序输出质量问题。 我们可以过滤掉 NiFi错误读数。

1.4K10

Apache NIFI ExecuteScript组件脚本使用教程

这些变量交互是通过NiFi Java API完成,下面会介绍相关API调用,比如对流文件执行各种功能(读/写属性路由关系,记录等)。请注意,这些示例只是demo,不能按原样运行。...例如,如果已使用session.get()从队列中检索流文件,则必须将其路由下游关系中或将其删除,否则将发生错误。...这些动态属性都是处理器属性,用户可以为其设置属性名称和值(并非所有处理器都支持/使用动态属性),但是ExecuteScript会将动态属性作为变量传递,这些变量引用指向了该属性值相对应PropertyValue...这里有两件重要事情要注意: 因为属性名称按原样绑定变量名称,所以指定编程语言必须支持动态属性命名约定。...范围选择通常与流中每个节点相同处理器是否可以共享状态数据有关。如果集群中实例不需要共享状态,请使用本地范围。

5K40

大数据NiFi(十四):数据来源和变量及表达式

当数据通过系统处理并被转换,路由,拆分,聚合和分发到其他端点时,这些信息都存储在NiFiProvenance Repository中。...为了搜索和查看此信息,我们可以从全局菜单中选择数据源(Data Provenance),也可以在对应处理器右键选择“View data provenance”进行查看。.../B”,添加完成之后如下:以上添加变量是在主面板添加,主面板添加变量可以在各个组内使用,也可以在每个组内添加变量,如果变量名称冲突,在组内定义变量对应值生效。.../docs/nifi-docs/html/expression-language-guide.html#functions在演示将目录A下数据文件导入目录B下案例时,B目录是手动写死,这里我们定义好了变量可以直接在处理器属性中引用值...注意,在处理器“Properties”页面中有很多属性,有些属性值不支持表达式引用值,可以在对应属性上点击“?”符号来查看是否支持表达式:

1.1K121

大数据NiFi(六):NiFi Processors(处理器

NiFi Processors(处理器)为了创建高效数据流处理流程,需要了解可用处理器(Processors )类型,NiFi提供了大约近300个现成处理器。...这些处理器提供了可从不同系统中提取数据,路由,转换,处理,拆分和聚合数据以及将数据分发到多个系统功能。如果还不能满足需求,还可以自定义处理器。...每个新NiFi版本都会有新处理器,下面将按照功能对处理器分类,介绍一些常用处理器。...此处理器应将文件从一个位置移动到另一个位置,而不是用于复制数据。GetHDFS:监视HDFS中用户指定目录。每当新文件进入HDFS时,它将被复制NiFi并从HDFS中删除。...此处理器应将文件从一个位置移动到另一个位置,而不是用于复制数据。如果在集群中运行,此处理器需仅在主节点运行。GetKafka:从Apache Kafka获取消息,封装为一个或者多个FlowFile。

1.9K122

Edge2AI之NiFi 和流处理

NiFi 全局菜单,单击“Control Settings”,导航“Registry Clients”选项卡并添加具有以下 URL 注册表客户端: Name: NiFi Registry URL...回到NiFi Flow页面,将From Gataway输入端口数据连接到漏洞连接去掉,使得数据可以进入Process Sensor Data组。...您可以根据需要添加更多处理器来处理、拆分、复制或重新路由 FlowFile 所有其他目的地和处理器。 为了完成这个实验,让我们提交和版本化我们刚刚完成工作。...您需要知道在下一节中配置PutKudu处理器时要使用表的确切名称。 您可以在 Hue 表格浏览器中找到 Kudu 表名称。 单击左侧表浏览器default图标并导航数据库。...PutKudu 处理器 在画布添加一个PutKudu处理器并进行如下配置: 设置选项卡: Name: Write to Kudu 属性选项卡: Kudu Masters: <CLUSTER_HOSTNAME

2.4K30

【Android 组件化】路由组件 ( 注解处理器获取被注解节点 )

文章目录 一、设置支持注解类型 二、注解处理器中打印日志 三、主应用中使用注解 四、注解处理器 获取注解节点 五、博客资源 组件化系列博客 : 【Android 组件化】从模块化组件化 【Android...Library Module 开发 ) 【Android 组件化】路由组件 ( 路由组件结构 ) 【Android 组件化】路由组件 ( 注解处理器获取被注解节点 ) 在 【Android 组件化】路由组件...( 路由组件结构 ) 博客中介绍了组件化中 " 路由组件 " , 分为 " 自定义注解模块 " , " 注解处理器模块 " , " 依赖库模块 " 3 个模块 ; 本篇博客中讲解 " 注解处理器 "...开发 ; 一、设置支持注解类型 ---- 在 注解处理器使用 @SupportedAnnotationTypes({}) 注解 , 为该 注解处理器 配置支持注解 , 在大括号中输入 注解完整...获取注解节点 ---- 使用 @Route 注解节点都是类 , 因此注解节点类型都是 TypeElement 类型 ; 编译时 , 注解处理器会自动获取使用了 @Route 注解节点 , 在 注解处理器

33020

NIFI文档更新日志

入门(读完即入门) 新增了解NiFi最大线程池和处理器并发任务设置 新增深入理解NIFI Connection 2020-05-12 新增自定义Processor组件 2020-05-10 新增AvroReader...NIFI nar包加载机制源码解读404问题(感谢匿名同学细心发现) 修改入门文档一些语句错误 2019-11-16 更新CalculateRecordStats组件 统计个数 新建评论页面 Oracle...:数据分发 EvaluateJsonPath:提取json内容属性 ExecuteGroovyScript:执行Groovy脚本 ExecuteSQL:执行SQL ExtractText:提取text...内容属性 FlattenJson:“压平”多层json GenerateFlowFile:生成流 GenerateTableFetch:生成SQL,增量,全量 HandleHttpRequest_HandleHttpResponse...:替换text RouteOnAttribute:根据属性路由流 RouteOnContent:根据流内容路由流 SplitAvro:切分avro数据 SplitJson:切分json数组 UpdateAttribute

2.2K20

【Android 组件化】路由组件 ( 运行时获取 注解处理器 生成路由表 )

文章目录 一、获取应用 APK 二、获取所有 APK 中 kim.hsl.router 包类 三、获取其它 Module 中路由表 四、Router 路由加载类代码 五、博客资源 组件化系列博客...: 【Android 组件化】从模块化组件化 【Android 组件化】使用 Gradle 实现组件化 ( Gradle 变量定义与使用 ) 【Android 组件化】使用 Gradle 实现组件化...) 【Android 组件化】路由组件 ( 注解处理器获取被注解节点 ) 【Android 组件化】路由组件 ( 注解处理器中使用 JavaPoet 生成代码 ) 【Android 组件化】路由组件...( 注解处理器参数选项设置 ) 【Android 组件化】路由组件 ( 构造路由表中路由信息 ) 【Android 组件化】路由组件 ( 使用 JavaPoet 生成路由表类 ) 【Android...组件化】路由组件 ( 组件间共享服务 ) 【Android 组件化】路由组件 ( 生成 Root 类记录模块中路由表 ) 一、获取应用 APK ---- 获取应用 APK 文件 : 首先 , 获取

36120

Apache NiFi:实时数据流处理可视化利器【上进小菜猪大数据系列】

Apache NiFi 随着大数据时代到来,组织需要处理大量数据流,以便及时获取有价值信息。Apache NiFi是一个非常受欢迎工具,用于在数据流处理过程中收集、路由和转换数据。...NiFi核心概念 NiFi核心概念包括流程、处理器、连接、流文件和组件。流程代表一个数据流处理任务,由多个处理器组成。...处理器NiFi基本处理单元,用于执行各种操作,如数据收集、转换、路由和存储。连接用于连接处理器,构建数据流路径。流文件是NiFi数据单元,携带着数据和元数据。...NiFi工作原理是基于流文件传递和处理,每个流文件都会经过一系列处理器进行操作,并按照定义规则进行路由和转换。...强大数据路由和转换能力:NiFi内置了丰富处理器,可以执行各种操作,如数据过滤、转换、合并、拆分和聚合等。这些处理器可以根据定义规则将数据流路由不同目的地,实现复杂数据处理和转换逻辑。

41720
领券