NiFi fetchFile processor不允许动态属性
NiFi fetchFile processor是Apache NiFi中的一个处理器，用于从远程服务器或文件系统中获取文件。它允许用户指定要获取的文件路径，并可以配置一些属性来控制获取文件的行为。
该处理器不允许动态属性，意味着在配置该处理器时，所有属性的值都需要在运行时确定，并且不能根据流数据的内容或其他条件进行动态调整。这是为了确保处理器的配置在运行时是确定的，以提高系统的可靠性和稳定性。
尽管fetchFile processor不允许动态属性，但它仍然具有广泛的应用场景。例如，可以使用该处理器从远程服务器下载日志文件，将其传输到本地进行处理和分析。另一个应用场景是从FTP服务器获取数据文件，并将其传输到数据处理流程中进行进一步处理。
对于使用NiFi进行数据流处理的用户，可以考虑使用其他处理器来实现动态属性的需求。例如，可以使用EvaluateJsonPath处理器来从流数据中提取属性，并将其用作fetchFile处理器的属性值。这样就可以根据流数据的内容动态确定要获取的文件路径。
腾讯云提供了一系列与数据处理和存储相关的产品，可以与NiFi结合使用。例如，可以使用腾讯云对象存储（COS）作为NiFi的目标位置，将获取的文件存储在COS中进行长期保存和管理。您可以访问腾讯云COS产品页面（https://cloud.tencent.com/product/cos）了解更多关于该产品的详细信息和使用方式。
总结：NiFi fetchFile processor是Apache NiFi中的一个处理器，用于从远程服务器或文件系统中获取文件。它不允许动态属性，但可以通过其他处理器实现动态属性的需求。腾讯云提供了与NiFi结合使用的产品，例如腾讯云对象存储（COS），可用于存储获取的文件。
相关·内容
为什么有些NiFi处理器不允许动态属性？我在我的一个工作流中使用了FetchFile processor，我需要在整个流程中传递一些数据，以便能够在最后一步中使用它。但是，FetchFile通过不允许使用动态属性打破了这一点。我想知道有没有别的办法？为什么NiFi不允许在某些处理器上使用动态属性？我将数据作为属性传递，但它在<e
浏览 3提问于2016-07-17得票数 2
回答已采纳
我想建立一个nifi进程，它的工作方式类似于ETL进程，(即) nifi进程将在一天执行一次，并从某个目录中挑选一个文件。文件包含一个日期，我想将其存储为环境变量，第二天当进程运行时，我想将文件中的日期与我存储在变量中的日期进行比较，有没有一种方法可以在NIFI中实现这一点，而无需将日期值存储在任何表中？
浏览 2提问于2017-11-17得票数 0
我需要知道Apache NiFi是否支持在完成之前运行处理器。例如，： P-->ProcessorGetHTTP-->PutFile-->FetchFil
浏览 2提问于2017-01-12得票数 1
1回答
为此目的，listFile --> FetchFile --> ConvertCSVToAvro --> ConvertAvroToOrc --> PutHDFS
csv数据转换为ORC格式，
浏览 1提问于2019-05-16得票数 1
2回答
目前，我正在从Nifi中的FTP获取文件，但是在获取文件之前，我必须检查一些条件。情况是这样的。在Check条件部分，我从DB中获取一些值并与文件名进行比较。因此，我是否可以使用update属性从DB中获取一些记录并使其像这样呢？
列出FTP ->更新属性(来自DB) ->路由上的属性->获取FTP
浏览 1提问于2018-08-21得票数 2
回答已采纳
因此，我希望能够将jar路径指定为处理器的属性，并让nifi在每次修改属性中的路径并重新启动处理器时加载jar。正如在中所解释的那样，使用应该是可行的。然而，我无法做到这一点。下面是我使用dynamicallyModifiesClasspath属性编写的hello程序代码：这是我的nifi处理器所依赖的类，我希望在我的nifi</
浏览 0提问于2019-05-27得票数 2
回答已采纳
我使用NiFi来使用专用处理工具(运行在NiFi外部)来编排大型二进制文件的处理。NiFi将源文件放到磁盘上，我调用外部工具(使用ExecuteScript处理器)，该工具加载二进制文件并继续生成许多较小的文件。当外部工具完全完成时，我需要“拾取”较小(生成)文件的目录，并继续通过NiFi进行处理。我需要等待，因为输出目录、文件数量和处理所需的时间是动态的。ListFile + FetchFile组合不能工作b/c ListFile没有上行连接，所以--再次--我不能在处理完成
浏览 1提问于2018-08-16得票数 0
回答已采纳
1回答
在Nifi中，我们可以通过两种方式设计一个流：
ListFile -> FetchFile -> ValidateRecord (sanity) -> UpdateContent -> CSVtoAvro -> AvrotoORC - >PutHDFS基于属性的修改(UpdateAttribute) --在这种方法中，我们将流文件的内容作为属性存储在内存中，并直接修改它们。List F
浏览 4提问于2020-06-22得票数 1
使用Nifi，我想：
运行了一个Python脚本，该脚本导出熊猫的dataframe ，例如通过ExecuteStreamCommand将其发送给各种即插即用的Python脚本，这些脚本输入和输出熊猫的数据，但不知道它们是通过Nifi运行的，而且我无法修改它们以使用STDIN/STDOUT代替大熊猫。
浏览 1提问于2020-05-13得票数 2
1回答
日安generated.Nifi系统A在文件夹X中生成数量未知的“配对文件”(包括1xxml和1xPDF，同名)。ListFile (对XML)FetchFile (${absolute.path}/${filename})FetchFile (${absolute.pat
浏览 9提问于2022-03-15得票数 1
回答已采纳
2回答
我们正在使用Nifi注册表和Azure Devops为Nifi开发CI-CD。我们希望它是完全自动化的，并且在一个问题上被阻止。在我们的处理器中，我们使用密码等敏感属性。
浏览 27提问于2019-08-01得票数 0
回答已采纳
对名称进行提取和路由不是问题，我们将所需的文件路径存储在一个属性(xsdFile)中。xsdFile: XMLValidation处理器<em
浏览 0提问于2019-09-03得票数 1
回答已采纳
如果一些属性(例如，Emp_number、Manager_id、associate_num)的值与查找文件中可用的值列表(例如，csv查找文件中的列名ID )匹配，则我要求从源文件中筛选记录。为此，我使用了NiFi LookupRecord processor (1.5版)。在查找处理器中添加了动态属性"key“，并将记录路径值指定为/Emp_number。它工作得很好。但是如果我添加额外的动态属性，比如"key1"：/
浏览 54提问于2019-08-22得票数 3
回答已采纳
我需要将一堆json文件流式传输到Nifi，然后Nifi再转到HDFS。Nifi需要查看json文件中的创建日期(UNIX格式)，然后将其路由到适当的HDFS文件夹。据我所知，Nifi没有动态创建HDFS文件夹的方法，所以有没有一种优雅的方法来处理这个问题呢？
浏览 15提问于2019-01-29得票数 0
我正在尝试实现下面的站点(没有更新属性).I采取了一个目录，其中有几个文件，需要放在marklogic数据库中。我已经添加了ML数据库配置。: java.lang.NullPointerException: java.lang.NullPointerExceptionorg.apache.nifi.processor
浏览 84提问于2021-08-17得票数 0
回答已采纳
2回答
我正在尝试获取一个基于某个逻辑的ID (可能有多个ID具有相同的名称，因为它是使用angular/jquery的nifi )。setting-field #connection-details-tab-content
浏览 0提问于2018-09-22得票数 0
新来的NiFi！在NiFi中，是否有其他方法来指示一组事件已经开始和结束？让这件事更清楚Processor1Processor3BeginProcessor2End
...
浏览 4提问于2017-05-17得票数 4
回答已采纳
我想将我的Nifi管道(主要是PUTSQL-处理器)从我的开发实例转移到我的Apache Nifi的生产实例中，最好是使用Python来实现可重用性。
# GET processor and parse to JSONprocessor = json.loads(res
浏览 1提问于2021-03-24得票数 0
回答已采纳
我有一个扩展MergeContent进程的自定义处理器，当NiFi启动时，我在日志中看到以下错误：
2016-09-09 18:17:00,607 ERROR [main] org.apache.nifi.NiFiFailure to launch NiFi due to java.util.ServiceConfigurationError: org.apache.nifi.processor.Processor: org.apache.nifi.<
浏览 8提问于2016-09-10得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
