我有日志消息数据，正在被推送到kafka主题，与nifi kafka消费者拉入消息数据，并将其路由到各种drops。根据一组内部用户ID和IP地址，我要清除许多记录。我有一个名单，大约20个IP地址和10个用户ID的擦除。有没有办法在主题前面设置一个阻止列表，在数据到达Nifi之前对其进行过滤，或者有一种方法可以将其添加为处理器，在Nifi上过滤数据，然后沉入各种来源？ 谢谢
浏览 37提问于2021-10-07得票数 0
Kafka主题有大约100个分区，我正在使用Apache nifi ConsumeKafka从那个kafka读取数据，并发送一些其他服务器。目前这个nifi consumeKafka处理器只有一个消费者，我希望有相似数量的消费者来匹配分区，我没有任何选择来增加消费者的数量，目前我正在添加新的处理器到相同的消费者组，我认为这种方法是正确的。如何在相
浏览 25提问于2019-12-28得票数 1
给Apache NiFi的新手警报！假设有一个2节点集群节点1&节点2。一个简单的用例作为示例：如果在集群中的节点1上触发了管道，这是否意味着所有10个批仅在节点1中运行？在每个处理器级别的NiFi中都有“开箱即
浏览 10提问于2022-11-14得票数 0
回答已采纳
Nifi和Kafka现在都可以在Cloudera数据平台，CDP公共云中使用。Nifi擅长与所有事物交谈，Kafka是一种主流的信息总线，我只是想知道：我对遵循最佳实践并与平台的默认配置一起工作的答案感到满意，但如果有常见的替代方
浏览 5提问于2020-07-17得票数 1
回答已采纳
2回答
我的公司每天产生大约600万条记录，我看到hadoop是处理大量数据的一个很好的解决方案。我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
我有一个ASP.NET Core，它是用C#编写的--撰写文档、elasticsearch、serilog和Kibana。我计划把Kibana从坞-Compose.yml文件中移除。如何阅读那些现在在elasticsearch中的日志，而不必去Kibana查看这些日志并读取它们呢？我去了，然后作为管理员去了powershell，并做了一个wget (url)。下载之后，我运行了tar -xzf kafka</
浏览 3提问于2021-05-12得票数 0
我想从nifi flow中获取数据，然后做一些事情。之后，我想再次将结果发送到nifi flow。 这是我的nifi流，使用输出端口将数据发送到spark。 ? 为了从Nifi flow中获取数据，我编写了以下函数。)
new SiteToSiteClient .url("http://localhost:8090/nifi
浏览 30提问于2020-04-09得票数 1
我不确定这个问题已经在某个地方解决了，但我在网上找不到有用的答案。
我正试图使用Apache NiFi将Apache NiFi与卡夫卡消费数据集成在一起。我知道Apache是进行这种处理的合适人选，但是如果我们正在处理的NiFi是一个复杂的工作流，那么构建工作流有多容易呢？我们最初考虑使用Java做同样的事情，但后来意识到这可以在NiFi中用最少的努力来完成。请注意，我们从Kafka处理的<
浏览 0提问于2019-04-18得票数 3
回答已采纳
我正在用Java开发一个解决方案，它通过属于不同供应商的REST与一组设备进行通信。因此，对于每个供应商，我必须在我的解决方案中执行一组流程。然而，这些过程将根据每个供应商的不同而改变。下面是需要执行的高级别流程。以下内容应该能够从所选的解决方案中获得。able to execute some functions parallelly (Eg: Image processing)
所以我被告知要研
浏览 3提问于2018-11-12得票数 10
回答已采纳
1回答
我有以下问题:我们有一个系统，可以在环境中创建有关表的更改日志，并将这些日志作为消息发送给kafka。Kafka将这些消息传递给NIFI，NIFI使用它在另一个环境中修改表。我只能控制NIFI发生的事情。
问题是，由于其性质，Kafka消息并不是按照源表环境中执行更改的顺序到达的。我想使用kafka.timestamp属性<em
浏览 1提问于2022-06-21得票数 0
2回答
我已经开始了一个Nifi过程(消费卡夫卡)，并将它与一个主题联系起来。它正在运行，但我无法(不知道)在哪里查看消息？
浏览 0提问于2018-05-17得票数 0
回答已采纳
我发现了如何在OAuth 2.0to Kafka上运行。 我可以配置kafka并创建安全主题。在考虑控制台消费者和生产者的教程中： ./bin/kafka-console-producer.sh --broker-list localhost:9093 --topic oauth2-demo-topic --producer.configOAUTH_INTROSPECT_AUTHORIZATION='Basic <encoded-pr
浏览 13提问于2020-10-13得票数 1
回答已采纳
像这样的事以前做过吗？如果不是，在让NiFi吞下一条通过WebSocket到达的流时，谷歌FlatBuffers会涉及什么？我有一个运行在节点上的C++程序，该程序通过websocket收集数据并通过nanomessage /sub发布数据。C++中的数据看起来像结构，我正在用序列化它。这是一个非常简单的结构，想想csv的记录。我们有一位团队成员希望用NiFi</
浏览 0提问于2018-07-05得票数 0
我正在尝试发送一条消息(json文件)到Kafka主题(发布)，并使用文件名或uuid作为kafka密钥，这样我就可以在日志中跟踪它。消息在稍后发送和使用，但我无法跟踪日志中的键，因此我可以跟踪和识别消息。目标是为每条消息提供唯一的标识符(对每个事件使用不同的文件名/uuid) 我尝试在Nifi中使用evaluteJsonPath进程，以便将文件名添加为属性，以便可以使用它，但仍然无法在<
浏览 7提问于2019-05-21得票数 0
配置GetHTTP处理器的选项看起来很适合连接到第三方API。我需要发送用户名(可用)，密码(可用)和一个代表数据库名称的第三个字符串值。这个处理器有一个“新属性”选项，我认为它可以用于数据库字符串，但是，它似乎是在寻找一种特定类型的属性。我得到的警告消息是：“数据库”对“mydatabasename”进行验证是无效的，因为“database”不是受支持的属性。有什么建议吗？
浏览 4提问于2017-06-10得票数 2
回答已采纳
我们有一个卡夫卡消费者服务，将数据摄入到我们的数据库中。每当我们从主题中接收到消息时，我们将编写一个insert语句将此消息插入到DB中。我们使用DB连接池来处理插入，到目前为止还不错。目前，我们需要添加一个过滤器，以便只从Kafka选择相关消息并执行插入操作。我有两个选择来做这件事。无需进行代码更改或重新部署服务只需向配置表中插入新的
浏览 3提问于2022-11-02得票数 0
我有一个要求，我需要阅读CSV和发布到卡夫卡的Avro格式的主题。在发布过程中，我需要将消息键设置为两个属性的组合。假设我有一个名为id的属性和一个名为group的属性。有没有办法在Apache nifi flow中实现这一点？将消息键设置为单个属性对我来说很好。
浏览 0提问于2020-06-16得票数 1
1回答
Hadoop可以做流媒体吗？
、、、、
有人建议Hadoop做流媒体，并引用了Flume和Kafka作为例子。
虽然我知道它们可能具有流媒体功能，但我想知道它们是否可以与Storm/Spark/Flink等流处理技术并驾齐驱。Kafka是一个“发布-订阅模型消息传递系统”，而Flume是一个数据摄取工具。即使它们与hadoop交互/集成，从技术上讲，它们是“hadoop”本身的一部分吗？PS:我知道有一个是完全不同的事情。
浏览 4提问于2018-04-07得票数 0
每当我尝试连接到kafka的生产者/消费者，我得到“未授权的主题test2” 如果我关闭了授权，我成功地通过了身份验证，所以身份验证可以工作，只有授权不能。在kafka.security.auth.SimpleAclAuthorizer不起作用的情况下进行ACL授权。)uper.users=User:admin 服务器的jaas文件： KafkaServer {
org.apache.kafka.common.security.pla
浏览 150提问于2019-04-07得票数 1
在1.12中引入这个之前，我已经编写了一个自定义处理器来处理多部分帖子。我拥有的处理器和nar工作得很好，但是nar包引入了许多标准处理器的副本，其版本号与我的自定义处理器的版本号相匹配。添加Controller服务需要添加 <dependency>
浏览 11提问于2020-07-10得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
