腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4222)
视频
沙龙
1
回答
Nifi
-
在前
一个
流
文件
完全
遍历
下游
后
激活
流
文件
apache-nifi
您好,我正在尝试使数据流通过
Nifi
,它们是listFile -> fetchFile -> data transformation -> putKudu 但是,我想以某种方式暂停fetchFile处理器或保留从本地服务器接收的
流
文件
,直到前
一个
流
文件
完全
通过
下游
,在putKudu处理器之后,然后逐个释放下
一个
流
文件
。我查看了等待和通知处理器,但找不到一种方法来通知队列中要释放的下
浏览 31
提问于2021-11-09
得票数 0
3
回答
Apache
Nifi
文件
被卡在队列中。
apache-nifi
流
文件
被卡在队列中(按属性进行负载平衡),下
一个
下游
处理器(MergeRecord和CSVReader和CSVRecordSetWriter)不会读取。从
Nifi
来看,
流
文件
似乎在队列中,但是当试图列出队列时,它会说“队列没有
流
文件
”。尝试清空队列也会给出确切的消息。
Nifi
日志没有任何与处理器相关的异常。队列中大约有80个
流
文件
。我试过以下动作项目,但都失败了: 重新启动<e
浏览 0
提问于2019-05-09
得票数 2
1
回答
输入数据行作为python中的参数
python
、
linux
、
database
、
apache-nifi
、
dataflow
所以我想知道我需要在我的python脚本中手动传递
文件
或每一行和每一列以进行屏蔽。最好的方法是什么,我如何才能获得它。在NI-FI中,我也想使用python脚本来屏蔽我的数据,但是Getfile处理器和python脚本指出了位于NI-FI的输入
文件
夹中的相同
文件
,因此可能是由于这个原因,我在执行
流
命令时遇到错误。inputStream, outputStream): obj = { "Source"
浏览 14
提问于2019-05-07
得票数 1
2
回答
将json
文件
拆分为多个
流
文件
apache-nifi
我有
一个
如下所示的json
文件
,我需要将这个
流
文件
按照每一行拆分成多个
流
文件
{a:122,b: 12,c: dev}{a:111,b: 12,c: roman,d: 2.3} 输出Flowfile将有3个
文件
,每行。
浏览 0
提问于2019-02-15
得票数 0
2
回答
如何等待GenerateTableFetch查询完成
apache-nifi
、
hortonworks-data-platform
、
hortonworks-dataflow
我使用SplitText将它们拆分,将每个表放在
一个
单独的
流
文件
中,然后使用GenerateTableFetch和ExecuteSQL进行拉出。GenerateTableFetch根据分区大小将
流
文件
分成多个。但是它不编写像fragment.count这样的属性,我可以使用这些属性来等待每个表。 我有办法做到这一点吗?或者,是否有一种方法可以知道在整个
流
的末尾是否已经处理了
流
中的所有
流
文件
,并且没有任何东西处于队列或正在处理中?
浏览 1
提问于2018-09-15
得票数 2
回答已采纳
1
回答
是否可以访问队列属性?
apache-nifi
我有许多向
下游
UpdateAttributes处理器发送
流
文件
的GenerateTableFetch处理器。
流
文件
从UpdateAttributes传递到ExecuteSQL处理器:有没有办法向队列中的
流
文件
添加
一个
属性,该
流
文件
在队列中的位置?例如,在我重置/清除GenerateTableFetch的状态
后
,我想知道这是否是来自GenerateTableFetch的第一批<e
浏览 0
提问于2016-12-28
得票数 1
1
回答
Nifi
内容存储库未清理,并随着时间的推移不断累积
apache-nifi
Nifi
内容存储库在重新启动
后
的一段时间内与
Nifi
状态栏同步工作,
Nifi
版本1.9.1。在那之后,它开始逐渐增长,只有在重新启动时才会再次下降。我混合了小
文件
和大
文件
,并且正在合并
文件
以在
流
中创建大
文件
。我可能遇到了
一个
错误,https://issues.apache.org/jira/browse/
NIFI
-6150可能在下面提到的三种情况下都
浏览 23
提问于2020-05-02
得票数 3
1
回答
我正在为负载平衡的集群
nifi
而苦苦挣扎。
cluster-computing
、
load-balancing
、
apache-zookeeper
、
apache-nifi
我正在努力配置
NiFi
负载平衡集群。我有三台服务器,我想
激活
负载平衡,以便在这三台服务器之间共享高
流
数据
流
。我找不到
一个
好的文档来做这件事。谁能分享一下他关于如何配置
文件
(
nifi
.properties、zookeeper.properties)的经验?
浏览 0
提问于2019-05-22
得票数 0
1
回答
nifi
错误
流
无法工作,除非队列中有两个
文件
apache
、
apache-nifi
这是针对
nifi
1.3的。 我有
一个
通过故障流连接到putSplunk处理器的executeScript处理器。我正在做一些测试,所以目前我会让executeScript处理器失败,这会导致
流
文件
进入失败
流
。
流
文件
似乎位于队列中,没有被处理,或者至少没有被putSplunk处理器
完全
处理。如果我停止包含这些处理器的处理器组,然后在
流
文件
停留在故障
流
队列中时重新启动,那么
流
浏览 2
提问于2017-08-10
得票数 0
1
回答
在
NiFi
拓扑中收集用户输入的方法
apache-nifi
我是
NiFi
新手,所以我不确定这是否可能(或正确的设计方法):我打算使用Wait处理器,使用PostHTTP处理器(通过GUI)提示用户,然后使用Notify处理器。PostHTTP处理器) Notify ==> Follow-on
浏览 1
提问于2017-06-16
得票数 2
1
回答
如何获取从cassandra (数据转储成功
后
)到
nifi
的响应消息?
cassandra
、
apache-nifi
我将数据从csv
文件
转储到Cassandra
后
,通过
NIFI
进行了一些数据操作。我期待着来自cassandra的响应消息(为了确保所有数据都被转储),在这个成功/失败消息之后,我需要在
下游
管道中触发另
一个
API。 有人能告诉我如何从cassandra获取响应消息吗?
浏览 23
提问于2019-12-19
得票数 0
1
回答
如何使用
NiFi
进程会话迁移功能?
java
、
session
、
apache-nifi
我试图在读取
流
文件
的同时输出
流
文件
。(它在读取完
文件
的一部分而不是整个
文件
后
立即输出) 但是,ProcessSession似乎要求在目标处理器可以读取所有
流
文件
之前提交它。否则,可以选择将其迁移到另
一个
处理器。 如何使用迁移功能?更具体地说,我从哪里获得“newOwner”值? 或者有没有人对我原来的问题有什么想法?下面是ProcessSession代码:github.com/apache/<em
浏览 12
提问于2020-01-03
得票数 1
2
回答
获取
Nifi
PutSQL处理器的最后执行时间戳
python
、
apache-nifi
或者我可以自己构建
一个
时间戳? 设置:,我有气流触发我的
Nifi
,它以几个PutSQL处理器结束-在这些完成之后,我需要在气流中执行其他的东西。Idea:,我想触发第
一个
Nifi
处理器,然后在气流中等待,直到最后
一个
PutSQL处理器的last_execution_timestamp被更新。问题:I尝试访问属性statsLastRefreshed,但这不是最后一次执行时间,而是最后一次任何东西(用户/api请求)访问导致
Nifi
刷新处理器的处理器。我看到的唯一其他选项是从气流向
浏览 1
提问于2021-04-12
得票数 1
回答已采纳
2
回答
Nifi
:使用MergeContent处理器将所有必要的
流
文件
合并到
一个
快照中
merge
、
apache-nifi
这是关于
Nifi
中的MergeContent处理器的问题。目前,我需要以一种方式将所有具有
一个
特定属性的
流
文件
组合在一起。但是发生的情况是,由于有如此多的flowFile具有相同的属性,所以处理器生成几个与该属性合并的不同的
流
文件
,并且这几个
流
文件
应该被合并到
一个
大的
流
文件
中。它们有没有办法等待所有具有相同属性的
流
文件
进入MergeContent处理器,并同时合并
浏览 285
提问于2019-05-29
得票数 3
1
回答
QueryDNS卡住了,如何走出UnexpectedNamingException?
apache-nifi
使用QueryDNS,我的一些传入的
流
文件
带有
一个
“无效”的
完全
限定域名。Please review your configuration.: org.apache.
nifi
.processor.exception.ProcessException: Unexpected NamingException它将
流
文件
返回到传入队列,并将无限期地循环,放弃并尝试处理
流
文件
。同时,其他传入的
流
文件
被困在传入
浏览 0
提问于2020-10-07
得票数 0
1
回答
NiFi
-当使用负载平衡时数据卡在队列中
apache-nifi
在Apache1.15版本的
NiFi
中,创建了
一个
由3个
NiFi
节点组成的集群。当通过默认端口6342使用负载平衡时,
流
文件
会卡在一些队列中,即在启用负载平衡的队列中。已印发:
流
文件
似乎被卡在其中的
NiFi
队列的配置: 另
一个
可能与此无关的问题是,在这种情况发生
后
,一些
流
文件
会到达后续的
N
浏览 4
提问于2022-03-08
得票数 3
4
回答
自动部署
NIFI
模板
apache-nifi
我是
nifi
的新手,正在尝试理解(因为它看起来像是基于GUI的)是否有一种方法可以在
Nifi
上自动扩展和缩小,以及如何将xml
Nifi
模板部署到集群中。本质上,我们试图做的是使用
Nifi
从kafka服务器收集JMX和日志
文件
,当它们以自动方式出现时,因此日志和JMX计数器开始流动到,比如说和Elasticsearch集群。例如,现在我们已经使用Ansible自动化了kafka服务器的部署,所以我们希望在集群部署的同时配置和部署
Nifi
xml teamplates,这样就不需要手动干预
浏览 0
提问于2017-02-18
得票数 5
2
回答
NiFi
如何在
下游
流程完成之前释放流
文件
apache-nifi
我正在使用
NiFi
设计
一个
数据摄取模式。
一个
进程需要停止释放流程
文件
,直到
下游
流程完成处理为止。我试图使用等待和通知,但没有取得任何成功。我希望能在几个处理器之间设置队列大小和背压。类似地,如果有一种实现逻辑的方法:如果当前在多个处理器之间有
一个
处理,则不要允许
流
文件
进入。
浏览 6
提问于2019-12-04
得票数 0
回答已采纳
2
回答
Nifi
-匿名身份验证尚未配置
apache-nifi
我试着从我的
nifi
中获得系统诊断数据。但我有“匿名身份验证尚未配置”。错误。所有东西过去都正常工作,但是在最后一次重新启动
nifi
之后,发生了这个错误。
浏览 16
提问于2022-02-17
得票数 0
1
回答
有没有办法通知
Nifi
处理器
elasticsearch
、
apache-nifi
、
data-migration
我有
一个
NiFi
流
,在这个
流
中,我从elasticsearch获取数据,经过一些处理
后
,我将
流
文件
保存在目标位置。一旦保存了所有的
流
文件
,我希望通知合并进程将
文件
中的所有数据合并到
一个
大的csv
文件
中。我的问题是如何通知合并处理器现在所有
文件
都已保存,并且现在开始合并所有
文件
。 谢谢你的帮助..:)
浏览 64
提问于2021-08-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache NiFi介绍及使用体验
Apache NiFi用户指南-数据流的命令和控制
10分钟了解Apache Nifi在物联网的使用
公共安全领域 Kafka 应用实践
BIGO 如何做到夜间同时运行 2.4K 个工作流实例?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券