如何监视NIFI流文件存储和内容存储阈值

文章/答案/技术大牛

发布

1回答

apache-nifi

有没有办法监控NIFI流文件和内容文件存储？如果达到阈值(80%)，则触发警报(Email/Slack)。我希望在- Menu-> Cluster: JVM, FlowFile Storage, Content Storage下显示监视器统计信息 Nifi报告任务能否帮助实现这一目标？我们出现了NIFI宕机，因为FlowFile存储已完全用完。我们希望执行主动监控，

浏览 20提问于2021-02-19得票数 0

1回答

NiFi如何在内存或磁盘中存储流数据

storage、persistence、apache-nifi

当下一个处理器无法接收或处理任何数据时，有人能详细解释NiFi处理器(如GetFile或QueryDatabaseTable )是如何存储行的吗？当数据的大小超过某个阈值时，数据会在内存中通过管道传输到磁盘上吗？它是否有耗尽内存或丢失数据的风险？

浏览 4提问于2017-05-15得票数 5

回答已采纳

1回答

节点上的NiFi群集内容存储库已满

apache-nifi

在我们的NiFi集群上，内容存储库在一个节点上已满(它被隔离在自己的磁盘上，因此不会影响NiFi OS等)。现在，NiFi似乎不能处理任何涉及该节点的内容存储库的流文件。一旦节点的内容存储库已满，有没有办法将使用率降低到100%以下。我们基本上只能清理这个节点的流文件和内容存储库了吗？

浏览 25提问于2019-03-22得票数 0

1回答

Nifi内容存储库未清理，并随着时间的推移不断累积

apache-nifi

Nifi内容存储库在重新启动后的一段时间内与Nifi状态栏同步工作，Nifi版本1.9.1。在那之后，它开始逐渐增长，只有在重新启动时才会再次下降。我混合了小文件和大文件，并且正在合并文件以在流中创建大文件。我可能遇到了一个错误，https://issues.apache.org/jira/browse/NIFI-6150可能在下面

浏览 23提问于2020-05-02得票数 3

2回答

如何使用流创建正在运行的nifi docker镜像

docker、apache-nifi

我启动了一个apache/nifi容器，构建并配置了一个流。我不清楚是什么文件(nar、xml等)需要对用户要运行的映像可用。

浏览 5提问于2020-09-22得票数 1

1回答

NiFi:将文件内容存储在内存或全局变量中

apache-nifi

我在文本文件(sftp server)中有一些(sftp server)，希望将这些值存储在memory或global variables中，以便在所有ExecuteScript处理器中使用。我不能将这些值存储为NiFi全局变量，因为对于NiFi数据流的每次运行，文件内容并不相同。我期待的方式是当我的NiFi流启动时，这些文件内容必须存储somewhere(mem

浏览 27提问于2020-01-15得票数 1

1回答

Apache NiFi调优问题

performance、apache-nifi

我已经开发了一个用于HDFS中数据摄取的NiFi流原型。现在我想要提高整体表现，但我似乎真的无法向前迈进。，这是我迄今为止尝试过的：在不同的SSD驱动器上移动了流文件库和内容存储库。在内存中移动源<e

浏览 4提问于2016-09-27得票数 5

回答已采纳

1回答

我对Apache Camel和EIP非常有经验，正在努力理解如何在Nifi中实现等价物。我知道Nifi使用了一种不同的范式(基于流的编程)，但我不认为我尝试做的事情是不合理的。简而言之，我希望将每个文件的内容发送到多个rest服务，并希望将响应聚合到单个文档中，该文档将存储在elasticsearch中。我可能还会做一些进一步的处理和清理，以改进存储的内容(但这不是我当前的问题) 该屏幕截图是我试图

浏览 30提问于2018-08-24得票数 2

回答已采纳

1回答

如何在nifi中获取SFTP传输的数据传输完成状态

rest、apache-nifi、nifi-api

我在nifi中创建了一个流，用于将数据从一台linux机器传输到另一台linux机器。流动是这样的：我通过nifi管理的一切，即使用nifi创建、更新属性和启动流。如何才能得到完成状态的数据传输，使我可以停止流。

浏览 0提问于2019-01-31得票数 0

回答已采纳

1回答

NiFi / Flow文件移动处理程序

apache-nifi

我一直在阅读关于NiFi的文章，很少有疑问。考虑一个用例，其中我希望将数据从本地迁移到HDFS中。我将使用getFile和putHDFS处理器。因此，当我将location传递给getFile时，它将获取数据并转移到内容存储库中，而且它将传递给putHDFS处理器进行摄取。问题：如何将数据从内

浏览 7提问于2016-09-11得票数 0

回答已采纳

1回答

Nifi内容与属性修改技术

apache-nifi、hdf、hdp

在Nifi中，我们可以通过两种方式设计一个流：基于内容的修改(UpdateContent) --在这种方法中，我们直接修改流文件的内容。在每个阶段，流文件内容将被持久化在流文件存储库中。基于属性的修改(UpdateAttribute) --在这种方法中，我们将流文件的内容作为属性存储在内存中，并直接修改它

浏览 4提问于2020-06-22得票数 1

1回答

Apache :流文件状态和StateManagement之间的差异

apache-nifi

根据我在这里和那里读到的内容，flowfile存储库充当apache Nifi的预写日志。在浏览配置文件时，我看到有一个状态管理配置部分。例如，似乎流文件存储库和状态都用于从系统故障中恢复。有人能解释一下它们之间的区别吗？他们一起工作吗？此外，最好将流文件存储库和内容存储库放在两个单独的磁盘上。那当地的州呢？与另一个共同定位(我正在共同定位数

浏览 21提问于2020-10-14得票数 0

1回答

Nifi:使用种源数据审计数据

apache-nifi

嗨，我是nifi的新手，我学习了教程，了解了出处存储库的内容，并将其移出进行审核。但我有几个问题要问。最佳做法是始终将数据来源数据从一个nifi发送到另一个nifi吗？为什么不使用SiteToSiteProvenanceReportingTask发送到同一个nifi<

浏览 1提问于2021-02-24得票数 0

回答已采纳

2回答

如何在NiFi注册表中恢复git流？

apache-nifi、apache-nifi-registry

我在GitFlowPersistenceProvider注册表0.3中使用NiFi。今天，我创建了另一个NiFi注册表，我希望使用相同的提供程序加载来自上一个流的所有流。不幸的是，什么都没有发生--任何桶或流都不会被重新创建。我尝试手动创建所有桶，但即使这样，也不会导入任何流。声明：当NiFi注册表启动时，此提供程序将读取Git提交历史并查找这些bucket.yml文件，以恢复每个快照版本的存储桶和流</

浏览 0提问于2019-04-23得票数 2

回答已采纳

2回答

如何将移动队列和数据从Nifi发送到prometheus？

docker、apache-nifi、prometheus

基本上，我想监视一个失败队列，如果计数增加了一个阈值，我想要创建一个警报。2)警报:我想把数据发送到普罗米修斯，在那里我将阅读和显示在阿尔塔。我遵循了这个用于队列监视的，它适用于单个队列，但仍然保留了Prometheus部分。我不确定选择ReportingTask、创建自定义ReportingTask或要监视

浏览 0提问于2019-01-08得票数 1

1回答

如何在Apache nifi中获取视频流数据？

python、opencv、video-streaming、apache-nifi、yolo

你能告诉我，有没有办法把视频流传输到Nifi上？我使用Nifi "ExecuteProcess“来运行python和OpenCV来捕获视频流，但我不能制作多个流文件。我的程序运行python代码，然后将所有捕获的帧放入一个流文件中。因为我想在直播视频上使用YOLOV3进行分析，所以我希望每个帧都在不同的流文件中。代码如下所示。我的程序使用"ExecuteProcess“运行python代码，当程序

浏览 23提问于2020-09-11得票数 0

2回答

Nifi:使用MergeContent处理器将所有必要的流文件合并到一个快照中

merge、apache-nifi

这是关于Nifi中的MergeContent处理器的问题。目前，我需要以一种方式将所有具有一个特定属性的流文件组合在一起。但是发生的情况是，由于有如此多的flowFile具有相同的属性，所以处理器生成几个与该属性合并的不同的流文件，并且这几个流文件应该被合并到一个大的流文件中。它们有没有办法等待所有具有相同属性的流文件进入MergeContent处理器，并同时合并所有这些流

浏览 285提问于2019-05-29得票数 3

4回答

Apache Nifi:如何知道或检查所有流文件都已被处理

apache-nifi

我在NiFi中有flow：在将所有的流文件放入HDFS之后，我需要运行shell脚本。我如何知道或检查所有流文件都已处理？

浏览 8提问于2020-06-20得票数 3

1回答

NiFi如何从NiFi Flow查询内容存储库

hadoop、apache-nifi、hortonworks-data-platform、flow、hortonworks-dataflow

据我所知，所有的流文件都会保存到内容库中。如何从NiFi flow中的内容存储库获取这些流文件？

浏览 3提问于2019-03-25得票数 0

2回答

Nifi未能写入FileSystemRepository流

apache-nifi

我有一个使用getFile处理器的流。输入目录是网络挂载点。当我在小文件(les大于1GB)上测试流时，它工作得很好。当我在更大的文件(超过1GB)上测试它时，我得到以下错误： GetFileid=f1a533fd-1959-16d3-9579-64e64fab1ac6无法检索文件，原因是org.apache.nifi.processor.exception.FlowFileAccessException7daab3fa115a，claim=、offset=0、name=4909082

浏览 1提问于2017-02-13得票数 5

点击加载更多