1回答
在hdfs中存储小文件并在Nifi Flow中对其进行归档
hadoop、apache-kafka、hdfs、apache-nifi、execute-script
场景:我正在使用NiFi来阅读卡夫卡主题中的消息，这些都是非常小的。 要求:将这些原始数据消息存储在HDFS中(用于重放功能)，...before对其进行进一步处理。我一直在考虑定期对它们使用Hadoop Archive (HAR)。这是我可以通过Nifi做的事情吗？“har命令看起来像是命令行的东西，而不是我可以通过Nifi执行的东西?
浏览 11提问于2020-08-19得票数 0
回答已采纳
1回答
自定义处理器的单独日志文件
apache-nifi
="INFO"/> <logger name="org.apache.nifi.processors.standard.LogAttribute-- Everything written to NiFi's Standard Out will be log
浏览 5提问于2017-06-07得票数 2
回答已采纳
1回答
使用NiFi使用QueryDatabase表读取记录时限制行数
database、apache-nifi
我正在尝试使用Apache NiFi的QueryDatabase处理器，有没有办法限制记录，比如：“select* from table 100”
NiFi中是否有其他支持此操作的处理器？
浏览 0提问于2018-11-20得票数 2
1回答
如何使用Apache Nifi将数据从HDFS传输到Oracle？
apache-nifi
我是Nifi的新手，正在寻找有关使用Nifi处理器以获得高达100MB/s速度的信息。
浏览 29提问于2020-04-10得票数 0
回答已采纳
2回答
Apache Nifi : Oracle到Mongodb的数据传输
mongodb、oracle、apache-nifi
我想使用apache nifi将数据从oracle传输到MongoDB。Oracle总共有900万条记录。我已经使用QueryDatabaseTable和PutMongoRecord处理器创建了nifi flow。此流程运行良好，但存在一些性能问题。在启动nifi流之后，SplitJson -> PutMongoRecord队列中的记录不断增加。有没有办法降低SplitJson处理器放入队列中的记录</
浏览 8提问于2020-06-29得票数 0
1回答
使用apache NiFi处理记录
csv、apache-nifi
有没有专门的处理器来做这件事？startup failed:
General error during conversion : Error grabbing Grapes --[unresolved dependency: org.apache.commons
浏览 15提问于2020-02-18得票数 0
回答已采纳
1回答
如何配置Apache logback.xml文件将LogMessage处理器的日志和其他处理器的日志分割成不同的文件
apache-nifi、logback
我想将LogMessage处理器的日志和其他处理器的日志分割到不同的文件中。在为LogMessage处理器配置了一个新的附加器和日志级别之后，我可以将LogMessage处理器的日志记录到名为"flow-events.log“的文件中。但是其他处理器的日志会从"nifi-app.log“中消失(始终为空)。为什么？<?xml version="1.0" encoding="UTF
浏览 5提问于2021-11-27得票数 0
1回答
配置csvReader以使用Apache中的Avro模式注册表时遇到的错误
schema、apache-nifi、avro、csvreader
csvReader属性集：
运行Apache</em
浏览 0提问于2021-07-01得票数 0
回答已采纳
2回答
log.info in ExecuteScript
groovy、apache-nifi
我正在尝试使用Groovy登录一个ExecuteScript组件。每当我调用log.info时，都不会将任何东西写入nifi-app.log，但当我调用log.errorit时，则会这样做。使用Nifi 1.0.xlog.info("FOO-BAZ-INFO") => nothing
log.error("FOO-BAZ-ERROR") => 2016-11-15 10:29:24,023 ERROR [Timer-Driven Pr
浏览 4提问于2016-11-15得票数 4
回答已采纳
1回答
无法解决org.apache.nifi:nifi-standard-services-api-nar -如何在CustomProcessor中使用LookupService
java、maven、apache-nifi
我正在实现自定义NiFi处理器来解码一些文件。在解码过程中，我需要查找某些数据映射的外部CSV记录。注意，这个解码过程很复杂，所以它必须是一个自定义处理器。如何解决这个问题，并在我的自定义处理器中使用org.apache.nifi.lookup.LookupService。
我相信这可能是因为它以nar而不是jar的形式出现。但我的问题是，如何仅在编译时使用LookupService，如何通过解决此问题在运行时使用<
浏览 4提问于2021-04-05得票数 2
回答已采纳
1回答
Nifi自定义处理器异常
apache-nifi
我使用的是Nifi 0.4.1版本。正在编写自定义代码以将CSV转换为avro格式。我已经创建了类文件，并能够生成nar文件。将nar文件放入lib目录并重新启动nifi服务器。当在nifi工作区拖动处理器时，无法看到为将csv转换为avro而创建的类。谢谢,
浏览 4提问于2016-02-25得票数 3
1回答
如何在Ni-Fi中重命名相同位置的文件
apache-nifi
我的sftp路径中有一些文件，我想使用Ni-Fi重命名相同位置的文件。 请推荐适合我情况的nifi制程。 提前谢谢。
浏览 26提问于2020-01-02得票数 0
1回答
如何为自定义处理器生成使用文档
apache-nifi
我已经创建了几个自定义NiFi处理器，但是无法获得要生成的使用文档。“使用”文档指的是右键单击处理器并选择“使用”，这将显示有关该特定处理器的文档。将显示文档面板，但我的自定义处理器都不存在。我在我的自定义处理器类上使用了几个NiFi文档标记，包括几个读/写属性。代码编译和单元测试没有任何问题。构建报告
为NAR中的NiFi扩展生成文档.该文件应该存在于一个目录中，该目
浏览 1提问于2019-08-16得票数 0
2回答
Apache NiFi/Cassandra - PutCassandraRecord无法转换为记录对象
cassandra、apache-nifi
我正在尝试使用NiFi的PutCassandraRecord处理器将一些JSON记录插入到Cassandra DB中。所述时间戳字段的cassandra数据类型是(ts时间戳)我使用的Avro模式：{ "name"："ts"，" type "：{"type"："long"，"logicalType"：" timestamp日志显示它能够解析JSON对象，但不能将其转换为
浏览 8提问于2019-05-14得票数 1
1回答
Nifi consumekafka不接受上行连接
hadoop、apache-kafka、hdfs、apache-nifi
我正在使用consumekafka投票消息，每隔500到10000条记录，而nifi迭代每30秒发生一次。我想消费iteration一旦所有作业完成轮询下一次迭代。但是consumekafka处理器不支持上行连接。 一旦puthdfs成功，我需要使用下一次迭代，在这里我提到了nifi工作流。
浏览 15提问于2020-04-06得票数 0
1回答
apache能否检测到数据库表记录的更改以及如何更改？
sql-server、apache-nifi
我对apache-nifi非常陌生，我不确定这在nifi处理器中是否能实现？更新前的
“谋杀”的第一次记录改为13.2。如果可能，如何通过设置处理器来检测此更改？
浏览 2提问于2019-09-02得票数 0
1回答
Nifi调用http如何获取值并在post数据期间添加为标头
apache-nifi
我有一个NiFi流，它需要将数据发布到其他服务器，在发布之前，它需要从我的内部服务器或Nifi分布式缓存中获取一个值。下面是我正在尝试的流程，所有的绿色处理器都是我能做的，但是我只能获取值并添加到invoke http头中。我可以让我们实现这一目标的其他过程是什么。 ?
浏览 100提问于2020-01-22得票数 0
1回答
用于引用控制器服务的多NAR依赖项
maven、apache-nifi
我正在开发一个自定义处理器，它同时使用DBCPService和RecordReader。 <dependencies> <groupId>org.apache.nifi</groupId<groupId>org.apache.nifi
浏览 3提问于2020-09-29得票数 0
回答已采纳
2回答
使用Apache将批量记录从Db2插入到Cassandra
cassandra、apache-nifi
我使用Apache Nifi将DB2加载数据连接到Cassandra。我的Db2表有超过200+k的记录，但是只有400no被插入到cassandra target中。为剩余的cassandra批处理语句获取错误，不能插入超过65535条记录。尝试在yaml文件中进行一些更改，但没有帮助，得到相同的错误。我可以在Nifi中将批次更改为批量吗？或者，如果我需要从Db2加载所有记录，那么在Nifi或Cassandra中需要做哪些更改？
浏览 16提问于2019-04-02得票数 0
2回答
将Logback消息转到单个记录器
java、apache-nifi、logback
我正面临着Apache NiFi日志记录方面的问题。NiFi是用Java编写的，并使用logback。20
浏览 14提问于2022-09-21得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号