腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2825)
视频
沙龙
1
回答
如何
禁用
背
压
或
如何在
Apache
Nifi
中
传输
流
文件
合并我的
流
文件
记录后,不再需要“原始”
流
文件
。
如何
丢弃原始的
流
文件
?或者,我可以在特定队列上
禁用
背
压
吗?已经将"FlowFile过期“设置为1秒,但想要另一种有效的方法。
浏览 16
提问于2019-03-29
得票数 0
1
回答
NiFi
如何在
内存
或
磁盘
中
存储
流
数据
、
、
当下一个处理器无法接收
或
处理任何数据时,有人能详细解释
NiFi
处理器(
如
GetFile
或
QueryDatabaseTable )是
如何
存储行的吗?当数据的大小超过某个阈值时,数据会在内存
中
通过管道
传输
到磁盘上吗?它是否有耗尽内存
或
丢失数据的风险?
浏览 4
提问于2017-05-15
得票数 5
回答已采纳
2
回答
监控自定义处理器
中
的
背
压
计数和大小
我有一个自定义处理器(
NiFi
1.8.0),它已经根据需要修改了传入的
流
文件
。但是,在将
文件
传输
到传出关系之前,我想检查一下该关系的
背
压
是否接近超过它的阈值。如果是,那么我计划将
流
文件
发送到另一个连接到PutFile处理器的关系,在那里它将被写入磁盘。 我知道我可以得到传入队列的数量和大小。但是我不知道
如何
从外向关系的连接
中
获取数量和大小。
浏览 29
提问于2019-12-04
得票数 0
回答已采纳
2
回答
Nifi
:调度处理器一天一次
流
文件
Id-s来获取在线服务(例如,从1到100)GenerateFlowFile->ExecuteScript->InvokeHttp->putFile
浏览 4
提问于2017-09-28
得票数 0
1
回答
Akka HTTP
背
压
连接
、
、
、
、
说在Http().bindAndHandle()上: Http().bind()是魔法函数吗?这适用于
背
压
吗?
如何
使用akka公开
背
压
HTTP端点?
浏览 2
提问于2015-08-10
得票数 1
回答已采纳
1
回答
如何
优化使用
nifi
等待处理器
我目前正在创建一个
流
,在其中我将合并10K http响应的结果。我有几个问题。(请参考下面的图片,我正在按图片编号我的问题)。3)究竟什么是“
背
压
数据大小阈值”,值设置在1GB,是否意味着,如果队列
中
的ff大于这个值,
nifi
就会开始丢弃它吗?还是会以某种方式停止对上游处理器的处理?
浏览 0
提问于2018-10-11
得票数 0
回答已采纳
4
回答
用于ETL的
Apache
NIFI
、
对于源为HDFS、目标为Oracle DB的ETL进程,使用
Apache
NIFI
的效率
如何
。与其他ETL工具相比,
Apache
NIFI
的局限性是什么?
浏览 2
提问于2017-08-20
得票数 5
1
回答
Spring
中
的
背
压机制
、
、
、
public Mono<String> getAllTweets() return Mono.just("I am First Mono")} 我知道反应的好处之一是
背
压
,它可以平衡请求
或
响应率。我想了解
如何在
Spring
中
实现
背
压机制。
浏览 1
提问于2018-09-09
得票数 55
回答已采纳
3
回答
kafka和
nifi
的区别
、
我是
Apache
NiFi
的初学者,但到目前为止,我读到的所有教程都是关于kafka与
Nifi
的集成。kafka
如何
成为
Nifi
的补充?为什么我们不直接使用
Nifi
来推送我们的消息,而不是使用kafka? 注意:我看过的所有教程都没有提到这一点。
浏览 7
提问于2018-11-29
得票数 14
回答已采纳
2
回答
如何在
Redis streams中使用反
压
?
、
我是不是错过了什么,或者没有办法用Redis streams产生
背
压
?如果生产者以更快的速度将数据推送到
流
中
,消费者可以更快地消费它,那么没有明显的方法可以向生产者发出信号,让它停止
或
减速。我原以为会有一个阻塞版本的XADD,它会阻塞客户端,直到空间在被封顶的
流
中
变得可用(类似于XREAD的阻塞版本,它允许用户等待,直到数据变得可用),但事实似乎并非如此。人们
如何
处理上面的场景- signaling给生产者,它应该推迟向
流
中<
浏览 0
提问于2019-06-03
得票数 4
2
回答
APACHE
NIFI
对
APACHE
气流对
APACHE
FALCON?在下面的场景
中
哪一个最适合?
、
、
、
因此,对于每个供应商,我必须在我的解决方案
中
执行一组流程。然而,这些过程将根据每个供应商的不同而改变。下面是需要执行的高级别流程。以下内容应该能够从所选的解决方案
中
获得。able to execute some functions parallelly (Eg: Image processing) 目前,我正在考虑使用
Nifi
。但有
浏览 3
提问于2018-11-12
得票数 10
回答已采纳
2
回答
不使用Observable.create创建可观察的
、
、
我在我的安卓应用程序中使用RxJava,我想从数据库中加载数据。public Observable<List<EventLog>> loadEventLogs() { @Override public void call(Subscriber<? sup
浏览 2
提问于2015-12-10
得票数 32
回答已采纳
1
回答
KStream<T>对Flux<Message<T>>
、
、
、
卡夫卡世界
中
Flux的特征是什么?这是另一种"KStream",一种“耐久的反应
流
”吗?它的使用是否保证不滞后,
或
至少最小,因为
背
压
?
浏览 4
提问于2022-09-14
得票数 0
回答已采纳
1
回答
为什么
nifi
正在松散
流
文件
内容?
此错误在"EvaluateJsonPath 1.6.0“处理器
中
随机出现。在我的工作流程中有3个处理器实例。错误是随机出现的,它不是在同一个地方发生的。系统有足够的内存剩余。此外,jvm运行的堆为28 is。原因可能是什么?是否有一些后台进程,清理
文件
,在进程发布之前?是否有可能,我可能已经配置了一些优化,这迫使
nifi
清理内容
文件
夹?它不像,内容
文件
夹是空的,它仍然有旧的
浏览 1
提问于2018-11-14
得票数 1
1
回答
Nifi
:使用种源数据审计数据
嗨,我是
nifi
的新手,我学习了教程,了解了出处存储库的内容,并将其移出进行审核。但我有几个问题要问。 最佳做法是始终将数据来源数据从一个
nifi
发送到另一个
nifi
吗?为什么不使用SiteToSiteProvenanceReportingTask发送到同一个
nifi
实例<em
浏览 1
提问于2021-02-24
得票数 0
回答已采纳
1
回答
WebSocket在数据
流
15 - 20分钟后停止接收数据- NodeJS
、
console.log('websock disconnected');}); 几分钟~15分钟后,sock.on
中
的回调代码如果套接字没有断开,如果没有错误,套接字连接
或
数据
流
发生了什么? 另一方面,(服务器端,数据发送方)似乎是连续地
流
数据,而客户端(nodejs应用程序)已经停止接收数据。
浏览 2
提问于2019-05-09
得票数 0
回答已采纳
1
回答
Apache
NiFi
调优问题
、
我已经开发了一个用于HDFS
中
数据摄取的
NiFi
流
原型。现在我想要提高整体表现,但我似乎真的无法向前迈进。 在不同的SSD驱动器上移动了
流
文件
库和内容存储库。在内存中移动源存储库(
NiFi
无法跟上
浏览 4
提问于2016-09-27
得票数 5
回答已采纳
2
回答
Apache
Nifi
: Oracle到Mongodb的数据
传输
、
、
我想使用
apache
nifi
将数据从oracle
传输
到MongoDB。Oracle总共有900万条记录。我已经使用QueryDatabaseTable和PutMongoRecord处理器创建了
nifi
flow。此流程运行良好,但存在一些性能问题。在启动
nifi
流
之后,SplitJson -> PutMongoRecord队列
中
的记录不断增加。有没有办法降低SplitJson处理器放入队列
中
的记录的速度?
或
提高PutMong
浏览 8
提问于2020-06-29
得票数 0
2
回答
在
Nifi
中
,FirstInFirstOutPrioritizer和OldestFlowFileFirstPrioritizer有什么区别?
、
、
用户指南有以下关于优先排序的详细信息,请您帮助我理解它们是
如何
不同的,并提供任何实时示例。OldestFlowFileFirstPrioritizer:给定两个FlowFiles,将首先处理数据
流
中最老的一个。“这是默认的方案,如果没有选择优先排序器的话。”
浏览 3
提问于2018-04-05
得票数 5
回答已采纳
1
回答
如何
捆绑使用多个包的自定义
NiFi
处理器?
、
、
、
我已经编写了一个自定义
NiFi
处理器,它使用一些Hadoop类,处理
流
文件
和序列化往返于Avro的
流
文件
。据我所知 要使用Hadoop类而不将它们打包为NAR的一部分,我需要
nifi
-hadoop-nar包和来将
流
文件
内容序列化到/从Avro,我需要RecordSetWriter和读取器,这是record-serialization-services-api标记为provided,所以它不会被捆绑在生成的NAR
文件
中
浏览 6
提问于2019-09-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache NiFi用户指南-数据流的命令和控制
大数据流处理:Flume、Kafka和NiFi对比
Apache Calcite 动态数据管理框架入门介绍
公共安全领域 Kafka 应用实践
Flink与storm的主要区别译文
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券