我正在尝试使用NiFi的PutCassandraRecord将数据输入到一个由3个节点组成的Cassandra集群中(假设所有3个节点都指向PutCassandraRecord)。我得到的吞吐量不足以满足我的工作负载，所以我使用3个不同的PutCassandraRecord处理器进行了测试，并为每个处理器提供了1个节点地址。我能够在这条路线上获得更大的吞吐量。我的
浏览 17提问于2019-05-22得票数 1
回答已采纳
我有一个NiFi流，它需要将数据发布到其他服务器，在发布之前，它需要从我的内部服务器或Nifi分布式缓存中获取一个值。下面是我正在尝试的流程，所有的绿色处理器都是我能做的，但是我只能获取值并添加到invoke http头中。我可以让我们实现这一目标的其他过程是什么。 ?
浏览 100提问于2020-01-22得票数 0
1回答
我是Apache Nifi的新手，我有一个用例，我需要解析和解码来自传感器的不同类型的消息，转换和加载Hbase中的数据--我的所有传感器每10分钟通过API通过post请求发送数据，我现在所做的是使用JAVA在特定端口上侦听并执行所有ETL数据流，知道我如何在这个用例中使用Apache Nifi吗？
浏览 3提问于2016-11-20得票数 6
回答已采纳
使用Apache，我需要过滤出具有一组特殊字符的NiFi中的记录。name,age,cityFFF,45,London然后，第二个记录必须从csv中取出，并放入另一个csv中请建议我所需要的处理器来实现这一点。此外，如果你能列出需要改变的配置，那将是非常有帮助的。
浏览 13提问于2019-10-25得票数 0
回答已采纳
我正在使用Nifi ExecuteSparkInteractive处理器运行spark代码，我看到它的结果是成功、失败和等待。当结果进入成功和失败状态时，我能够很好地管理和路由结果，但有时我看到文件丢失，我认为它将处于等待状态，并且在我的Nifi流中没有为“等待”状态定义路由。我尝试将nifi控件路由到UpdateAttribute处理器
浏览 1提问于2019-06-23得票数 2
我对使用NiFi相当陌生。我们试图验证一个xmlfile，但我们需要使用不同的xsd，这取决于文件中传递的一些值。对名称进行提取和路由不是问题，我们将所需的文件路径存储在一个属性(xsdFile)中。
但是，当试图在XMLValidation处理器中使用该属性时，它会更改路径并给出一个错误。当我从属性复制路径并将其复制到模式时，它可以工作，因此路径本身没有错。属性在流文件<
浏览 0提问于2019-09-03得票数 1
回答已采纳
我有一个产生json数据的源，每个文件只包含一个记录，如下文件1所示：-文件2：-
{"r":"32","Y":"24","x":"3","V":&quo
浏览 3提问于2019-09-23得票数 0
2回答
为了分离逻辑，简化主流程并重用处理器组，我正在寻找在Apache NiFi中实现进程间通信逻辑的方法。到目前为止，我唯一能找到的就是在主流中使用InvokeHTTP，在组中使用HandleHTTPRequest/Response对。但是，开放的HTTP端口过多可能会导致安全问题。有没有更好的方法来做同样的事情，例如，将流文件和属性路由到所需的处理
浏览 2提问于2020-01-28得票数 1
我在文本文件(sftp server)中有一些(sftp server)，希望将这些值存储在memory或global variables中，以便在所有ExecuteScript处理器中使用。我有超过20 ExecuteScript基于不同类型的数据路由，我需要在这些处理器中使用这些key value pairs。我不能将这些值存储为NiFi全局变量，因为对于NiFi数据流的每次运行，文件<
浏览 27提问于2020-01-15得票数 1
2回答
我想使用NiFi的posthttp/invokeHttp处理器将一个PDF发布到API中。但是，考虑到在cURL中复制的以下NiFi请求：
curl -X POST "http://ipaddress:port/api/" -H "accept: application/json" -H"Content-Type: multipart/
浏览 3提问于2019-03-15得票数 2
回答已采纳
在使用RouteOnAttribute nifi处理器时，我输入了json数据。[{"dev":"xyz","detail":"abc"}]是我从convertRecord处理器得到的如果匹配：${dev:equals( "xyz" )}
我在单引号和双引号中都尝试了${dev:matches( "xyz"
浏览 1提问于2020-08-13得票数 0
回答已采纳
重要的是，我可以检索与消息关联的路由密钥，并将有效负载和路由密钥写入文件。
我使用python来读取路由密钥，所以我肯定它是存在的。我使用的是ConsumeAMQP处理器，它链接到PutFile处理器。所写入的只是有效负载，而不是路由密钥。
浏览 0提问于2018-01-31得票数 1
回答已采纳
当管道中的my_logging_table Put处理器失败时，我希望将NiFi行作为日志插入。到目前为止，我不得不为创建另一个日志-处理器--每个管道处理器，它具有以下sql-statement('Failed-NiFi-processor-name', 'failed', current_timestamp)
这显然导致NiFi</
浏览 5提问于2021-07-15得票数 2
回答已采纳
我想为nifi处理器创建日志文件，我让它们形成tailFail并逐行拆分文本，然后检查是否是错误、信息或警告日志，并路由到可执行文件处理器，但此时我有5个流文件，我想统一这个拆分的流文件并将其写入一个流文件中，我尝试使用合并内容，但我认为它不适合我的任务。我还想知道nifi自定义日志是否返回了我在工作流程中添加
浏览 2提问于2017-08-31得票数 0
回答已采纳
我计划使用nifi从10,000多个传感器中摄取数据。有50-100种传感器，它们将向nifi发送一个特定的指标.我正在思考是否应该分配一个端口号来听所有的传感器，还是应该为每种类型的传感器分配一个端口，以方便我的数据管道。哪个是更好的选择？
是否有我可以用nifi“听”的端口号的上限？
浏览 2提问于2020-05-31得票数 2
回答已采纳
当多个流文件几乎同时在putSFTP处理器中执行时，文件被放置到错误的目的地。sftp用户名是不同的，来自flow文件属性。第一个流文件转到正确的目标，而其他3个文件转到第一个文件的sftp目的地。我们正在使用Apache NiFi 1.12.1
浏览 11提问于2022-01-26得票数 0
我们有多个团队nifi应用程序在同一台nifi机器上运行...有没有办法记录特定于我的应用程序的日志？另外，在默认情况下，nifi-app.log文件很难跟踪问题，公告牌仅在5分钟内显示错误消息...如何在Nifi中捕获错误并发送邮件警报？
请帮我解决这个问题。提前感谢！
浏览 10提问于2019-03-30得票数 3
我们使用Apache在特定的时间间隔内从Twitter和Reddit等多个来源获取数据(例如，30秒)。然后，我们想把它发送到Apache，可能它应该将Twitter和Reddit消息组合成一个主题，这样Spark就可以在给定的时间间隔内接收来自两个源的数据。
浏览 1提问于2020-04-15得票数 0
回答已采纳
我有一个NiFi流，通过API导入一些数据，我很容易地将这些数据路由到ElasticSearch中。{ "bool" : { { "match我尝试将<
浏览 0提问于2018-11-06得票数 0
2回答
Nifi火花流
、、
我正在寻找的方式，我可以利用火花流在尼菲。我看到了几个SiteToSite tcp连接用于火花流应用程序的帖子，但我认为如果我能够从Nifi自定义处理器启动spark，那将是件好事。PublishKafka将发布消息到卡夫卡，然后是Nifi火花流媒体处理器将阅读从卡夫卡的主题。我可以使用从自定义的Nifi处理器启动星火流应用程序
浏览 1提问于2017-06-04得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
