我已经使用PublishKafka_2_0处理器将一些数据放入了Nifi的Kafka中。我有三个卡夫卡经纪人和卡夫卡站在一起。我从Nifi获得数据，但是在Nifi中创建的主题的复制因子为1，分区为1。
在PublishKafka中创建新主题时，如何更改复制因子和分区的默认值？换句话说，我希望处理器用partitions=3和replication
浏览 1提问于2020-03-10得票数 1
2回答
Nifi火花流
、、
我看到了几个SiteToSite tcp连接用于火花流应用程序的帖子，但我认为如果我能够从Nifi自定义处理器启动spark，那将是件好事。PublishKafka将发布消息到卡夫卡，然后是Nifi火花流媒体处理器将阅读从卡夫卡的主题。我可以使用从自定义的Nifi处理器启动星火流应用程序，但最大的挑战是它将为每个流文件创建火花流上下文，这可能是昂贵的操作。
有人建议在控制器服务中存
浏览 1提问于2017-06-04得票数 3
我正在尝试使用Nifi中的PublishKafka_2.0处理器将一些数据放入一个未创建的Kafka主题中。谢谢!
浏览 19提问于2020-11-18得票数 0
回答已采纳
1回答
是否可以在处理消息后使用NiFi确认来自JMS的消息？更具体地说，我希望使用JMS从队列中读取消息，处理它(使用多个NiFi处理器)，使用PublishKafka处理器将其发送到Kafka，然后才向ConsumeJMS发送确认。换句话说，我不想在消息提交到Kafka之前从队列中删除它。 我知道有多种确认模式，但它们似乎都不能满足我的需要。当我能够在消息处理后发送响应时，我的目标是达到与HandleHttpReques
浏览 33提问于2020-08-11得票数 2
回答已采纳
谁能为我提供一个简单的例子，如何在自定义的Nifi处理器中设置流文件，以便通过PublishKafka处理器发送有效负载？ 我有一个遗留的消息传递协议，我为它编写了一个自定义处理器。我的自定义处理器可以很好地处理接收到的消息的输入。我现在正在尝试将这些数据放到一个流文件中，这样它就可以发送到publishKafka处理器上，但是我在网上找到任何资
浏览 27提问于2020-01-31得票数 1
回答已采纳
1回答
不能从NiFi发送给卡夫卡
、、、、
我正在中运行，下面是我的NiFi设置：关于PublishKafka处理器的详细信息：
关于ConsumeKafka处理器的详细信息：
下面是我的docker文件(注意: 192.168.1.50: NiFi restart: on-failure - kafka
ports:/var/run
浏览 0提问于2018-05-28得票数 0
回答已采纳
我正在使用PublishKafka_2_0处理器，在连接到Kafka时需要禁用SSL端点识别算法。在中，我可以通过将以下producer属性设置为空字符串来完成此操作：PublishKafka_2_0的文档提到可以使用动态属性来设置它我使用的是NiFi 1.9.1和Apache 2.1.1
谢谢
浏览 0提问于2019-07-09得票数 0
回答已采纳
我一直试图访问NiFi流量文件属性从卡夫卡消息在星火流。我使用Java作为语言。场景是，NiFI使用GetSFTP处理器从FTP位置读取二进制文件，并使用publishKafka处理器将byte[]消息发布到Kafka。这些byte[]属性使用火花流作业转换为ASCII数据，这些解码后的ASCII被写入Kafka进行进一步处理，并使用NiFi处理器保存到HDFS。我必须在已解码的ASCII中添加一个标题部分(用于文件名、文件大小、记录
浏览 9提问于2017-06-09得票数 1
回答已采纳
我正在使用Kafka和Nifi，当我摄取一个大文件(超过100MB)时。我收到一个TimeOutException错误。卡夫卡不会崩溃。
浏览 0提问于2020-05-27得票数 0
Nifi和Kafka现在都可以在Cloudera数据平台，CDP公共云中使用。Nifi擅长与所有事物交谈，Kafka是一种主流的信息总线，我只是想知道：
在CDP公共云中从Apache向Kafka生成/使用数据所需的最低步骤是什么？
浏览 5提问于2020-07-17得票数 1
回答已采纳
1回答
卡夫卡引发的NiFi工作流瓶颈
、、、、
我正在Apache NiFi中创建一个数据摄取工作流，使用Kafka作为缓冲系统。我设置了一个3节点集群，运行相同的工作流，每个节点有4个核心。我依赖于几个将数据移入和移出不同Kafka主题的实例，这是工作流程中最慢的部分，并且在性能方面非常不一致，因为两个相同的测试可以增加高达100%的持续时间。我们的发布和消费Kafka处理器在所有三个节点上运行，并且我们的Kafka主题有三个代理的3个分区。
有谁知道是什么导致了这种不一致，以及我可以做些什么来缓解它并加快工作流程？
浏览 16提问于2017-08-15得票数 1
回答已采纳
我有一个生产者(PublishKafka__10处理器)和一个消费者(ConsumerKafka__10处理器)来接收来自Kafka集群的流文件。我在Nifi UI管理上看到，生产者总共收到了7个包，但消费者只收到了4个包。我还使用kafka_console_consumer.sh查看producer中的包，它显示了整个7个包。我使用带有3个节点的kafka集群和带有3个节点的nifi集群。
浏览 2提问于2017-06-09得票数 1
我想为卡夫卡主题创建一个属性值作为partitionID。例如，我的flow文件属性列表有：account_number作为属性之一。我在nifi的PublishKafka__10处理器中找不到任何选择。提前感谢
浏览 0提问于2018-06-11得票数 0
回答已采纳
我正在使用apache nifi在kafka中存储日志。
我有一些行的日志，这取决于内容，我必须把他们发送到一个主题卡夫卡或其他。我的问题是有许多主题，因此我必须使用许多处理器。我想过使用'executescript'，我可以根据我在日志文本中的条件，生成一个动态属性，我可以在publishkafka处理器的'topic name‘属性中使用它。org.apache.commons.io
浏览 0提问于2017-10-16得票数 2
我感兴趣的是创建一个在工业PC上运行的软件，连接到某些机床的CNC模型，读取数据，并将其发送到远程云平台。根据需要，数据必须以MTConnect的XML schema格式发送。为了开发这个系统，我正在考虑使用Apache Nifi。我们的想法是开发自定义nifi处理器，以使用相应的API连接到特定的数控模型，并在下一步中使用另一个nifi处理器来应用MTConnect语义层。最后，将有一个MQTT处理器来远程发送数据
浏览 13提问于2017-12-21得票数 2
我正在寻找一种在Apache NiFi中创建关键部分的方法。我的意思是创建一组处理器，其中一个FlowFile将被单独处理-下一个FlowFile将被从队列中提取出来，当前一个FlowFile用该组的最后一个处理器完成时。请参阅下面的图片。
我想实现对NiFi API的访问令牌管理。我希望将令牌保存在缓存中，并将请求的数量
浏览 3提问于2022-01-28得票数 0
我使用的是MiNiFi 0.3和NiFi 1.5版本。 我们需要使用MiNiFi从'A‘文件夹中拉出数据(Csv)并发送到在linux上运行的NiFi。例如，如果文件在凌晨1点到达时有10条记录我们需要将文件从'A‘文件夹移动(而不是复制)到NiFi集线器。10分钟后(上午1.10)，附加的文件将与较旧的10条记录和新的10条记录一起到达。我们只需要将新的10条记录发送到NiFi集线器。 我尝试过
浏览 36提问于2019-04-03得票数 0
我使用publishKafka__10处理器发布从nifi到kafka的流文件。当通过代码从Kafka读取数据时，不维护数据序列(按时间戳排序)。我的数据集就像:时间戳、通道、值。为了调试，我使用PutSql将相同的流文件发布到菲尼克斯，我可以看到，在菲尼克斯表中，数据是连续的(按时间排序)。如果有人解释我为什么不能依次阅读卡夫卡的数据，那就太好了。卡夫卡的主题只有一个划分。
浏览 8提问于2018-01-09得票数 0
回答已采纳
2回答
如下图所示，我在另一个处理器的相同关系中添加了2个处理器，它将流文件平均分配到两个尾处理器中。是预期的行为吗？如果是，那么分区是基于什么基础完成的？
浏览 0提问于2018-07-13得票数 0
回答已采纳
我们有多个团队nifi应用程序在同一台nifi机器上运行...有没有办法记录特定于我的应用程序的日志？另外，在默认情况下，nifi-app.log文件很难跟踪问题，公告牌仅在5分钟内显示错误消息...如何在Nifi中捕获错误并发送邮件警报？
请帮我解决这个问题。提前感谢！
浏览 10提问于2019-03-30得票数 3
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
