腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
nifi
中
使用
拆分
记录
处理器
拆分
xml
文件
我对
nifi
还是个新手。我想
使用
拆分
记录
处理器
将一个大的
xml
文件
拆分
成多个块。我无法
拆分
记录
我是我的原始
文件
作为输出,而不是多个chunks.Can,有人能帮我吗?
浏览 41
提问于2020-10-09
得票数 1
1
回答
从SplitRecord
处理器
Nifi
运行
记录
计数
、
有办法从SplitRecord
处理器
Nifi
获得片段索引吗?我将一个非常大的xls (4磨
记录
)分割成“每分割
记录
”= 100000。现在,我只想处理前两个
拆分
,以查看
文件
的质量和拒绝
文件
的其余部分。 我可以看到片段索引在其他
拆分
函数(例如JsonSplit)
中
,而不是在
记录
拆分
中
。还有其他黑客吗?
浏览 3
提问于2018-09-07
得票数 1
回答已采纳
1
回答
用HBase将Avro大容量加载到
NiFi
我正在用
NiFi
摄取包含Avro
记录
的流
文件
,并需要将它们插入到HBase
中
。这些流
文件
大小不同,但有些有10,000,000+
记录
。我
使用
了两次SplitAvro (一次
拆分
为10,000个recs,然后一次
拆分
为1,rec),然后
使用
ExecuteScript
处理器
提取HBase的行键,并将其添加为for
文件
属性。最后,我
使用
PutHBaseCell (批处理
浏览 4
提问于2017-10-01
得票数 1
1
回答
Nifi
:从分割的日志流
文件
中
创建一个流
文件
我想为
nifi
处理器
创建日志
文件
,我让它们形成tailFail并逐行
拆分
文本,然后检查是否是错误、信息或警告日志,并路由到可执行
文件
处理器
,但此时我有5个流
文件
,我想统一这个
拆分
的流
文件
并将其写入一个流
文件
中
,我尝试
使用
合并内容,但我认为它不适合我的任务。我还想知道
nifi
自定义日志是否返回了我
在
工作流程
中
添加的所有
处理
浏览 2
提问于2017-08-31
得票数 0
回答已采纳
2
回答
使用
Apache从mysql导入数据到Hive/hdfs
我试图
使用
Nifi
将数据从mysql导入到hdfs/hive,但遇到了一些挑战。请给我建议。emp_name": "Ashley", "emp_age": 24},
拆分
json --如何将json
文件
拆分
为单个流
文件
浏览 3
提问于2016-07-19
得票数 1
回答已采纳
1
回答
需要
使用
Apache
NiFi
将
记录
单独发送到Kafka
、
、
、
我正在从
nifi
-user日志
文件
本身读取流/批格式的
记录
,用于测试场景,并
使用
Avro
nifi
处理器
转换为ConvertRecord格式,然后
使用
PublishKafka_2_0
处理器
发布到kafka我也
在
使用
Schema注册表进行模式确认。因此,现在当
记录
被转储到kafka上时,它是作为单个数组完成的,而不是单独的
记录
。有没有办法把
记录
分解成一个单
浏览 0
提问于2019-04-08
得票数 2
1
回答
应该组合哪些
处理器
来处理
NiFi
中
的大型JSON
文件
?
我希望设置一个
NiFi
工作流,该工作流将从FTP服务器压缩的大型JSON文档( 500 MB到3GB之间),将JSON对象
拆分
为单独的流
文件
,最后将每个JSON对象转换为SQL并将其插入到MySQL数据库
中
我
在
Oracle 8上运行
NiFi
1.6.0,Java有1024 MB的堆空间集。一旦大于400 MB的
文件
进入SplitJson
处理器
,它将引发SplitJson错误。我可以对现有的流进行哪些更改以使其能够处理大型JSON文档?
浏览 0
提问于2018-05-08
得票数 1
回答已采纳
1
回答
Apache
Nifi
-将大型Json
文件
拆分
成具有指定
记录
数的多个
文件
我是
Nifi
的新手,想要一些指导。我们想要将一个大的Json
文件
分成多个具有指定
记录
数量的
文件
。我可以
使用
SplitJson将一个
文件
拆分
为单独的
记录
,并将Json路径表达式设置为$..*。我还添加了一个UpdateAttribute
处理器
,将
文件
名设置为${ filename }_${fragment.index},这样我们就可以获得
文件
的顺序,因为顺序很重要。但是,我们可能希望将100,000条
浏览 17
提问于2019-11-28
得票数 0
回答已采纳
1
回答
nifi
splitRecord hung
我正在用一个只有11条
记录
的小
文件
测试
nifi
SplitRecord,但是,SplitRecord挂起很长时间。我不知道它在做什么。
记录
每次分割是否控制最大值,或最小
记录
,或每分割
记录
的确切数量?如果
记录
总数少于每次
拆分
的
记录
数,那么SplitRecords的行为是什么?它是等到暂停,然后把所有的
记录
放在一个单独的分裂?经过大约10分钟或随机次数的开始/停止/终止/重新启动,它可能会触
浏览 7
提问于2022-02-01
得票数 0
回答已采纳
1
回答
NiFi
SplitJSON和ExecuteSQL
在
NiFi
流
中
,我希望读取一个JSON结构,
拆分
它,
使用
有效负载执行一个SQL查询,最后将每个结果输出到一个JSON
文件
中
。但是,我
在
检索ExecuteSQL
处理器
中分裂的FlowFile属性的值时遇到了问题。
浏览 0
提问于2017-07-18
得票数 5
回答已采纳
1
回答
使用
Nifi
构造摄取的json数据的可能性
、
、
、
是否可以
使用
Nifi
将json
文件
加载到结构化表格
中
?{"SiteRep":{"Wx":{"Param":[{"name":"F","units":"C","$":"Feels Like Temp
浏览 15
提问于2017-01-13
得票数 2
回答已采纳
1
回答
如何在Apache
Nifi
中
拆分
大
文件
我有一个要求
拆分
数以百万计的数据(csv格式)到单一的原始数据
在
apache
nifi
.Currently我正在
使用
多个
拆分
文本
处理器
来实现这一点。除了多个
拆分
文本
处理器
之外,还有其他方法可以做到这一点吗?
浏览 4
提问于2021-03-09
得票数 0
1
回答
对于两个不同的
Nifi
集群,我可以
使用
相同的flow.
xml
.gz吗?
、
我们有一个13节点的
nifi
集群,拥有大约50k的
处理器
。flow.
xml
.gz的大小约为300 is。要建立13个节点的
Nifi
集群,通常需要8-10小时。最近,我们将集群分为两个部分,5节点集群和8节点集群,它们都具有相同的300 in flow.
xml
.gz。从那以后,我们无法在这两个星系团
中
得到
Nifi
。有同样的flow.
xml
.gz可以吗?
在
拆分
Nifi
集群时,我们可能缺少哪些最佳实践。
浏览 2
提问于2021-07-22
得票数 0
回答已采纳
1
回答
分片文本
处理器
中
异常的数组界
、
我
使用
的是
nifi
1.1.1包。我引用下面的链接来应用源代码
中
的修补程序
文件
,这是因为面临的问题:“目标不能在源”
中
,而分割流
文件
在
使头计数大于0时,.
在
应用修补程序之后,
拆分
文本
处理器
可以很好地工作,如果标题行数给定为0和大于1。如果只
使用
较少的行数,则
拆分
文本
处理器
中
的这些更改可以工作。例如,:,如果流
文件
包含更多的10
浏览 2
提问于2017-04-11
得票数 3
2
回答
使用
NiFi
将数据加载到Hive
中
的最佳方法是什么?
、
、
、
我已经开始和
NiFi
合作了。我正在开发一个用例将数据加载到Hive
中
。我得到一个CSV
文件
,然后
使用
SplitText将传入的流
文件
拆分
为多个流
文件
(按
记录
拆分
记录
)。然后
使用
ConvertToAvro将
拆分
的CSV
文件
转换为AVRO
文件
。之后,我将AVRO
文件
放入HDFS
中
的一个目录
中
,并<
浏览 1
提问于2017-02-07
得票数 1
2
回答
将json
文件
拆分
为多个流
文件
我有一个如下所示的json
文件
,我需要将这个流
文件
按照每一行
拆分
成多个流
文件
{a:122,b: 12,c: dev}{a:111,b: 12,c: roman,d: 2.3} 输出Flowfile将有3个
文件
,每行。Splitjson只是
拆分
第一行,请建议
浏览 0
提问于2019-02-15
得票数 0
2
回答
边缘
NiFi
处理器
内集群节点之间的内容分布
、
我正在浏览
NiFi
文档。我必须承认,这是有充分
记录
的开源项目之一。 我的理解是,
处理器
在
集群的所有节点上运行。但是,我想知道当我们
使用
FetchS3Object、FetchHDFS等内容拉取
处理器
时,内容是如何在集群节点之间分发的。
在
FetchHDFS或FetchSFTP这样的
处理器
中
,所有节点都会连接到源吗?它是
拆分
内容并从多个节点获取内容,还是从一个节点获取内容并在下游队列中进行负载均衡?
浏览 2
提问于2019-02-07
得票数 0
2
回答
Apache
NiFi
:识别包含特殊字符的csv
记录
、
、
使用
Apache,我需要过滤出具有一组特殊字符的
NiFi
中
的
记录
。name,age,cityFFF,45,London然后,第二个
记录
必须从csv
中
取出,并放入另一个csv
中
此外,即使"FFF“是
在
城市或年龄列,整个
记录
必须删除。 请建议我所需要的
处理器
来实现
浏览 13
提问于2019-10-25
得票数 0
回答已采纳
1
回答
在
Apache
Nifi
中
,是否可以根据条件删除某些对象
、
在
Apache
Nifi
中
,我从S3
中
读取了一些日志,这些日志是文本
文件
中
的json对象,我
使用
SplitText
处理器
对它们进行了
拆分
,现在我想根据属性'source=es_ logs‘过滤出一些对象有没有处理这个的
处理器
? 谢谢你的帮助!
浏览 1
提问于2017-01-07
得票数 1
1
回答
通过Apache
nifi
将JSON日志
文件
导入Solr
、
、
我正在尝试读取json日志
文件
并
使用
apache将其插入到solr集合
中
,格式如下(一个json对象
nifi
.logfile ){ "@timestamp": "2017-02-18T02:16:50.496+04:00","message": &quo
浏览 17
提问于2017-03-15
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据流处理:Flume、Kafka和NiFi对比
MyCat 入门:漫谈 MyCat 配置系统
Mule ESB 关键性概念
10分钟了解Apache Nifi在物联网的使用
Apache NiFi用户指南-数据流的命令和控制
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券