您好，我正在使用nifi作为ETL工具。 Process IMG 这是我目前的流程。我使用TailFile检测CSV文件，然后发送消息给Kafka。到目前为止，它工作得很好，但我想在将CSV的内容发送到Kafka之后删除csv文件。 有什么办法吗？ 谢谢
浏览 7提问于2020-12-03得票数 0
回答已采纳
我一直试图访问NiFi流量文件属性从卡夫卡消息在星火流。我使用Java作为语言。场景是，NiFI使用GetSFTP处理器从FTP位置读取二进制文件，并使用publishKafka处理器将byte[]消息发布到Kafka。这些byte[]属性使用火花流作业转换为ASCII数据，这些解码后的ASCII被写入Kafka进行进一步处理，并使用NiFi处理器保存到HDFS。我的问题是我无法跟踪二进制文
浏览 9提问于2017-06-09得票数 1
回答已采纳
1回答
是否可以在处理消息后使用NiFi确认来自JMS的消息？更具体地说，我希望使用JMS从队列中读取消息，处理它(使用多个NiFi处理器)，使用PublishKafka处理器将其发送到Kafka，然后才向ConsumeJMS发送确认。换句话说，我不想在消息提交到Kafka之前从队列中删除它。 我知道有多种确认模式，但
浏览 33提问于2020-08-11得票数 2
回答已采纳
我创建了一个处理单个json文件的管道(一个由5890个元素组成的向量，每个元素都是一个记录)，并以avro格式通过Kafka发送。生产者工作正常，然后当我与消费者一起阅读它时，我会得到每个记录的流文件(一个avro文件)。5890阿夫罗档案如何在一个avro文件中设置或合并更多记录？
浏览 4提问于2022-02-11得票数 0
回答已采纳
我正在尝试发送一条消息(json文件)到Kafka主题(发布)，并使用文件名或uuid作为kafka密钥，这样我就可以在日志中跟踪它。消息在稍后发送和使用，但我无法跟踪日志中的键，因此我可以跟踪和识别消息。目标是为每条消息提供唯一的标识符(对每个事件使用不同的文件名/uuid) 我尝试在</e
浏览 7提问于2019-05-21得票数 0
2回答
文件夹中的流式文件
、、、
我要把流媒体应用从flume转移到kafka。我有一台windows机器，在其上，由物联网传感器在特定位置(例如D:/Folder )连续生成CSV文件。1)在传输日志文件之间是否需要kafka集群/代理，或者是否可以直接从windows机器传输到hadoop linux机器？2)是否可以在windows和hadoop linux机器上安装kafka，然后将CS
浏览 4提问于2017-12-26得票数 0
Nifi和Kafka现在都可以在Cloudera数据平台，CDP公共云中使用。Nifi擅长与所有事物交谈，Kafka是一种主流的信息总线，我只是想知道：
在CDP公共云中从Apache向Kafka生成/使用数据所需的最低步骤是什么？
浏览 5提问于2020-07-17得票数 1
回答已采纳
2回答
在nifi中，如果我从单个主题监听Kafka，并且基于路由逻辑，它将调用相应的进程组。然而，在RouteOnContent处理器中，如果给出正则表达式来检查字符串的出现，会不会影响性能，或者在基于条件的路由中如何达到良好的性能。
浏览 2提问于2019-06-17得票数 0
我正在做一个项目，很多机器/传感器将直接向Kafka/Nifi集群发送消息。此机器/传感器将从公共互联网而不是从公司网络推送消息。我们在AWS云上使用Hortonworks发行版。我的问题是:设置Kafka /Nifi集群的最佳架构实践是什么对于这样的用例，我不想为了从公共互联网接收消息而将我的集群放在公共子网中。
浏览 2提问于2018-04-23得票数 1
1回答
我有以下问题:我们有一个系统，可以在环境中创建有关表的更改日志，并将这些日志作为消息发送给kafka。Kafka将这些消息传递给NIFI，NIFI使用它在另一个环境中修改表。我只能控制NIFI发生的事情。
问题是，由于其性质，Kafka消息并不是按照源表环境中执行更改的顺序到达的。如果在其中一个表中的同一对象上
浏览 1提问于2022-06-21得票数 0
1回答
为了将这些数据从的环境中传输到CouchBase中，让我们假设我希望使用Kafka来广播更改，并使用Nifi将其分发给最终删除(CouchBase)。
但是CouchBase采用JSON格式文件。我可以使用Kafka或Nifi将拉出的数据转换为JSON格式吗？我知道，例如，我可以在和Kafka之间添加解决方案，以实时复制数据。但是，让我们假设没有实现解决方案的预算
浏览 1提问于2017-10-27得票数 0
NiFi是否有可能从hdfs (或hive)读取数据，并将数据行发布到kafka，并保证只交付一次？
浏览 12提问于2020-11-17得票数 0
任何人都可以帮助我消耗连续数据中的数据，这些数据正在被流式传输。在snowflake连接器中应该为主题提供什么？
因为我能够使用所需的主题名称通过单个表数据填充数据。但我有捕获连续数据流到表中的要求。
浏览 0提问于2021-10-07得票数 5
2回答
我是Apache Nifi的新手，但我在尝试连接kafka微服务(与生产者)和Apache nifi消费者时遇到了一些问题。(json_message).encode('utf-8')) sleep(1) 通过KafkaUI，我可以看到已经发送的主题输入。在Apache nifi仪表板中，我使用以下参数设置了一个输入: Kafka broker: l
浏览 37提问于2021-07-14得票数 0
我正在尝试在Apache Nifi中创建一个流-情况如下: 1-使用来自kafka的消息(完成) 2-转换为有效的请求正文(完成) 3-保留转换后的消息4-生成oauth2令牌(它是post api) 5-调用post api，将转换后的json作为请求正文并在标头中发送令牌 我尝试了几种方法，比如将转换后的json放入缓存中，并在令牌生成后获取它，但问题是我无法将令牌传递给fet
浏览 21提问于2021-03-22得票数 0
我正在尝试在nifi中创建/使用apache ignite缓存。我使用的是1.13.2版的nifi，但是我找不到PutIgniteCache和GetIgniteCache选项。请谁来帮帮我。这个版本支持ignite吗？
浏览 2提问于2021-04-20得票数 0
每个模式映射到一个分区，kafka分区器按照定义的映射发布消息。比如schema1=1(Partition#1)，schema2=2 .scheman=n
这样，所有模式的消息都隔离在它们自己的分区中。问题:给定情况下的，我想配置一个Apachi Nifi节点实例，以处理kafka主题的1个分区。这样，我将配置运行在并行处理100个kafka分区中的100个Nifi实例。但我看不到在KafkaCon
浏览 2提问于2017-11-10得票数 1
回答已采纳
给Apache NiFi的新手警报！假设有一个2节点集群节点1&节点2。如果在集群中的节点1上触发了管道，这是否意味着所有10个批仅在节点1中运行？或者，在</e
浏览 10提问于2022-11-14得票数 0
回答已采纳
2回答
如下图所示，我在另一个处理器的相同关系中添加了2个处理器，它将流文件平均分配到两个尾处理器中。是预期的行为吗？如果是，那么分区是基于什么基础完成的？
浏览 0提问于2018-07-13得票数 0
回答已采纳
2回答
经过一些谷歌搜索，我发现尽管Nifi可以作为ETL工具工作，但它实际上是用于流处理的。
在我看来，“哪个更好”是一个非常糟糕的问题，因为这取决于不同的事情。这将有助于根据我目前的要求作出决定，在我的情况下，这将是一个很好的选择，或者我应该同时使用它们。
浏览 2提问于2021-01-08得票数 5
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
