腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4004)
视频
沙龙
1
回答
NiFi
:
在
使用
ListFile
/
GetFile
处理器
时
如何
存储
maxTimestamp
?
apache-nifi
我
使用
的是MiNiFi 0.3和
NiFi
1.5版本。 我们需要
使用
MiNiFi从'A‘文件夹中拉出数据(Csv)并发送到
在
linux上运行的
NiFi
。例如,如果文件
在
凌晨1点到达时有10条记录我们需要将文件从'A‘文件夹移动(而不是复制)到
NiFi
集线器。10分钟后(上午1.10),附加的文件将与较旧的10条记录和新的10条记录一起到达。我们只需要将新的10条记录发送到
NiFi
集线器。 我尝试过
ListFile
浏览 36
提问于2019-04-03
得票数 0
1
回答
ListFile
处理器
,强制
处理器
每次列出完整的目录。
apache-nifi
我认为,我正在寻找
ListFile
处理器
运行一次,然后停止,然后当它再次运行时,它会忘记以前的状态。“一些扭曲的逻辑”:) 谢谢
浏览 0
提问于2018-09-11
得票数 3
回答已采纳
2
回答
触发FetchFolder
在
NiFi
?
apache-nifi
、
hortonworks-dataflow
我
使用
NiFi
来
使用
专用处理工具(运行在
NiFi
外部)来编排大型二进制文件的处理。
NiFi
将源文件放到磁盘上,我调用外部工具(
使用
ExecuteScript
处理器
),该工具加载二进制文件并继续生成许多较小的文件。问题:
GetFile
(获取目录)没有上游连接,因此我无法
在
处理完成
时
触发它。
ListFile
+ FetchFile组合不能工作b/c
ListFile
没
浏览 1
提问于2018-08-16
得票数 0
回答已采纳
2
回答
监视
NIFI
目录中的新文件
apache-nifi
我有一个用例,我每天
在
不同的时刻都有新文件,比如每小时或两个小时,所以我需要监视我文件夹中的一个目录,当添加新文件
时
,它会触发一个事件,将这些新文件的路径发送到我
在
NIFI
上的new服务,你知道
如何
实现这一点以及
使用
什么工具吗
浏览 4
提问于2017-01-30
得票数 2
回答已采纳
1
回答
自定义kylo中的数据吸收模板
apache-nifi
、
kylo
我正在尝试
使用
配置文件自定义kylo中可用的标准数据摄取模板。我
在
kylo/conf目录中的application.properties文件中添加了字段名
nifi
.
getfile
.business_line1=Test。当我试图
在
处理器
${ business_line1 }中
使用
nifi
表达式
时
,它将抛出为“business_line1未找到”。 或者,还有其他方法来提供自定义标准数据吗?
浏览 3
提问于2017-08-16
得票数 3
回答已采纳
1
回答
NiFi
/ Flow文件移动处理程序
apache-nifi
我一直
在
阅读关于
NiFi
的文章,很少有疑问。考虑一个用例,其中我希望将数据从本地迁移到HDFS中。我将
使用
getFile
和putHDFS
处理器
。因此,当我将location传递给
getFile
时
,它将获取数据并转移到内容
存储
库中,而且它将传递给putHDFS
处理器
进行摄取。问题:
如何
将数据从内容回购移
浏览 7
提问于2016-09-11
得票数 0
回答已采纳
1
回答
利用
NiFi
实现从Azure到Google平台的数据流
azure
、
hadoop
、
google-cloud-platform
、
bigdata
、
apache-nifi
我的目标是
使用
json/xml将Azure文件移动到Google Cloud Platform(GCP)。经过我所有的研发,我发现很少的processors可能是有帮助的。名单如下: 请帮帮我,因为我是个新手,刚开始
在
NiFi
工作
浏览 1
提问于2019-03-23
得票数 0
回答已采纳
1
回答
使用
Apache
NiFi
通过传递动态属性值来调度作业
scheduler
、
apache-nifi
我已经创建了一个日期工作流,如下所示: GenerateFlowFile --> Custom Processor --> LogAttribute我的自定义
处理器
有一个属性作为start
NiFi
。您能帮助一下,
如何
在Apache
NiFi
中实现这一点?
浏览 1
提问于2017-04-14
得票数 1
1
回答
NiFi
如何
在内存或磁盘中
存储
流数据
storage
、
persistence
、
apache-nifi
当下一个
处理器
无法接收或处理任何数据
时
,有人能详细解释
NiFi
处理器
(如
GetFile
或QueryDatabaseTable )是
如何
存储
行的吗?当数据的大小超过某个阈值
时
,数据会在内存中通过管道传输到磁盘上吗?它是否有耗尽内存或丢失数据的风险?
浏览 4
提问于2017-05-15
得票数 5
回答已采纳
1
回答
如何
使用
Rest更新ReplaceText
处理器
中的“替换值”?
apache-nifi
我需要知道
如何
使用
Rest更新
nifi
处理器
中的值。例如:我
使用
了下面的
处理器
结构 FileLocation(
GetFile
). validation(ExtractText).我只需要
使用
nifi<
浏览 1
提问于2016-11-02
得票数 0
回答已采纳
1
回答
Apache :
使用
GetFile
到ExecuteProcess的管道文件
apache-nifi
要执行的python命令如下所示:我试图
使用
GetFile
处理器
在
NiFi
中拾取这些文件,因为我可以
在
日志中看到文件名,因此它负责挑选这些文件。因此,我的问题是,
如何
将文件从
GetFile
进程传输到Apache
NiFi
中的ExecuteProcess pr
浏览 3
提问于2017-01-31
得票数 3
回答已采纳
2
回答
如何
提高CSV数据
在
SQL Server中的处理速度?
json
、
csv
、
apache-nifi
我
使用
了
Nifi
-0.6.1与
GetFile
+SplitText+ReplaceText
处理器
的组合来拆分具有30 to (30万行)的csv数据。
GetFile
能够非常快地将30 is传递给SplitText。我
在
处理器
中尝试过并发任务选项。它可以加速,但也需要更多的时间。当
浏览 9
提问于2016-10-14
得票数 1
回答已采纳
1
回答
nifi
:
如何
为自定义
nifi
进程者制定适当的逻辑
apache-nifi
我想制作自定义的
nifi
处理器
,下面是我感兴趣的几个主题: 1.我希望从
处理器
获得xml文件,而不是解析它,提取文本值并将它们作为新创建的流文件的属性,但是我想更新(我的意思是将新值设置为该标记值之一)并将其回滚回文件夹,
如何
回滚这个流文件?如果我想让多个
处理器
使用
这个文件,我应该
使用
filec锁还是
在
获取流文件
时
使源文件保持为false,哪一个是最佳实践?
浏览 5
提问于2017-10-03
得票数 1
1
回答
是否可以
使用
rest
在
apache中获取
处理器
/连接器的ID?
rest
、
apache-nifi
我正在探索
NiFi
提供的rest功能。我有一个问题:通过查询组件的名称,我们是否可以
使用
NiFi
-API获取组件的ID,无论是
处理器
、
处理器
组、控制器服务等等?我尝试了http://localhost:8080/
nifi
-api/flow/search-results?q=sample,
在
我的
NiFi
流中有一个名为sample的
处理器
组。 我有一个名为
GetFile</
浏览 0
提问于2017-04-05
得票数 3
回答已采纳
2
回答
如何
在
NiFi
中读取ExecuteStreamCommand
处理器
中的文件
python
、
hadoop
、
google-cloud-platform
、
apache-nifi
因此,我设计了以下流程:我
使用
pandas设计了一个Python脚本。我
在
Google Cloud Platform上创建的虚拟机上运行此
NiFi
,其中我安装了Python-2.7和
NiFi
-1.9.1。<=\.)[0-9])',value='X')我有以
浏览 1
提问于2019-04-25
得票数 0
2
回答
使用
NIFI
,
如何
从包含在同一个zip中的json文件中向zip中的文件应用属性?
json
、
apache-nifi
、
unpack
使用
Apache,我想处理一个zip,其中包含一个category.json文件和一些数据文件,如图所示。
浏览 1
提问于2020-05-10
得票数 1
回答已采纳
2
回答
NiFi
-
如何
张贴PDF文档
pdf
、
post
、
apache-nifi
我想
使用
NiFi
的posthttp/invokeHttp
处理器
将一个PDF发布到API中。但是,考虑到
在
cURL中复制的以下
NiFi
请求: curl -X POST "http://ipaddress:port/api/" -H "accept: application/json" -H"Content-Type: multipart/form-data" -F "p
浏览 3
提问于2019-03-15
得票数 2
回答已采纳
1
回答
持续合并本地文件和从S3下载的文件
apache-nifi
我有一个从S3获取文件的
Nifi
流。通过S3获取一对文件,然后将其传递到MergeContent
处理器
。接下来,每对文件都需要一个README文件。 此README文件始终相同,我已将其
存储
在
本地。我有一个从MergeContent
处理器
接收内容的ExecuteStreamCommand。我尝试
使用
ListFile
/FetchFile组合将README文件传入MergeContent
处理器
,但它不能像预期的那样工作。
浏览 7
提问于2017-02-20
得票数 0
回答已采纳
1
回答
Snmp陷阱接收器作为Apache
Nifi
中的自定义
处理器
snmp
、
apache-nifi
、
receiver
、
snmp4j
、
snmp-trap
目标:-寻找
在
Apache中
使用
SNMP陷阱接收机制作为自定义
处理器
的选项。查看参考资料,例如
如何
在
Nifi
(和)、GetSNMP的
Nifi
源代码(包括AbstractSNMPProcessor)、ListenSysLog、
GetFile
等中创建自定义
处理器
。然后,
在
发生陷阱
时
(可以用SNMP4J库的简单Java代码进行模拟)可以打印PDU的细节。现在,当尝试将此代码作为自定义
处理器
在</
浏览 1
提问于2019-03-10
得票数 1
回答已采纳
2
回答
Android:检索所有图像目录
android
、
media
、
android-image
、
android-file
我试图
在
Android设备上找到包含图像的所有目录(内部和外部
存储
)。 基本上,我尝试获取本机库应用程序中列出的所有目录。
如何
做到这一点?我认为它与MediaStorage.Images.Media等相关,但是文档在那里没有多大帮助,而且很多谷歌搜索也没有帮助。
浏览 3
提问于2016-02-24
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache NiFi用户指南-数据流版本控制
Apache NiFi介绍及使用体验
Apache NiFi用户指南-数据流的命令和控制
大数据流处理:Flume、Kafka和NiFi对比
公共安全领域 Kafka 应用实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券