腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
NiFi
:
使用
HDFS
文件
作为
查找
apache-nifi
我需要在
NiFi
作业中
使用
HDFS
文件
作为
查找
。这个
HDFS
文件
包含两个字段id、name和我需要通过我的流传递IDS并从
HDFS
文件
中检索名称。我的
HDFS
文件
在拼图快的格式。你能让我知道我可以通过
查找
处理器实现这一点吗,或者我应该遵循不同的方法。 任何示例工作流程都会非常有帮助。 提前感谢所有人。 库马尔
浏览 67
提问于2020-10-18
得票数 0
1
回答
如何将
文件
从/user/maria_dev/tutorials/test.csv (HDP)复制到/sandbox/tutorial-files/640/
nifi
/input (HDF)?
hadoop
、
hadoop2
、
hortonworks-data-platform
、
hortonworks-sandbox
、
hortonworks-dataflow
在Docker Desktop上
使用
Hortonworks HDP 3.0.1和HDF Sandbox 我已经登录到HDP,并尝试从/user/maria_dev/tutorials/test.csv复制一个
文件
到HDF的/sandbox/tutorial-files/640/
nifi
/input,但不起作用。如何
使用
HDFS
以这种方式将
文件
从HDP复制到HDF?
浏览 4
提问于2021-01-14
得票数 0
2
回答
Apache和
Nifi
集成
apache-spark
、
apache-nifi
我想将
Nifi
流
文件
发送到Spark,并在Spark中进行一些转换,然后再次将结果发送回
Nifi
,以便我能够在
Nifi
中进一步操作。我不想写流
文件
写到数据库或
HDFS
,然后触发火花作业。我想直接发送流
文件
到星火和接收结果直接从火花到尼菲。我试过在
Nifi
中
使用
ExecuteSparkInteractive处理器,但我被卡住了。任何例子都会有帮助。
浏览 1
提问于2018-10-31
得票数 8
回答已采纳
2
回答
从
HDFS
集群读取Parquet
文件
hdfs
、
apache-nifi
查找
有关如何
使用
Apache从
hdfs
集群读取拼板
文件
的建议。在集群中,有多个
文件
存在于单个目录下,想要在一个流程中全部读取。
Nifi
是否提供了一个内置组件来读取
HDFS
目录中的
文件
(本例中为parquet)?示例-目录中的3个
文件
-
hdfs
://ap
浏览 0
提问于2018-11-09
得票数 0
回答已采纳
2
回答
Apache
Nifi
-在目录结构中写入
HDFS
hdfs
、
apache-nifi
我正在查看
nifi
以将
文件
写入
HDFS
。我希望将
文件
写入基于
文件
名/年/月/日/小时的目录结构中 例如,在2019年8月10日上午11点收到的名为"datasetX_xxxx“的
文件
将位于目录/datasetX/2019/08/10/11/dataset_xxxx
浏览 1
提问于2019-07-23
得票数 0
1
回答
HDF到HDP数据存储
hdfs
、
apache-nifi
一种是包含
Nifi
的hdf集群,另一种是包含HDF、Hive等组件的HDP集群。我们正在从
文件
中读取数据,并希望将其放入hdp群集
hdfs
中。提前感谢
浏览 1
提问于2016-10-28
得票数 0
1
回答
如何
使用
Apache
Nifi
将数据从
HDFS
传输到Oracle?
apache-nifi
我是
Nifi
的新手,正在寻找有关
使用
Nifi
处理器以获得高达100MB/s速度的信息。
浏览 29
提问于2020-04-10
得票数 0
回答已采纳
1
回答
nifi
putHDFS写入本地
文件
系统
hadoop
、
hdfs
、
apache-nifi
挑战在
NIFI
集群上,我
使用
一个连接到PutHDFS的简单GetFile。当通过这种方式推送
文件
时,PutHDFS会成功终止。但是,我并没有看到
文件
被放到我的HFDS上(在
HDFS
集群上),而是看到一个
文件
被放到了我运行
NIFI
的本地
文件
系统上。这
浏览 65
提问于2018-05-27
得票数 1
1
回答
使用
Nifi
预处理大
文件
java
、
apache-nifi
、
preprocessor
我们有高达8 8GB的
文件
,其中包含结构化内容,但重要的元数据存储在
文件
的最后一行,需要附加到每一行内容。
使用
ReverseFileReader获取最后一行很容易,但这需要
文件
在磁盘上是静态的,而我无法在现有的
Nifi
流中找到这样做的方法?在数据流到内容存储库之前,这是可能的吗?
浏览 43
提问于2019-06-22
得票数 1
回答已采纳
1
回答
使用
NiFi
处理器创建更大的ConsumeKafka流
文件
hadoop
、
apache-kafka
、
apache-nifi
我创建了一个简单的
NiFi
管道,它从一个卡夫卡主题(
使用
ConsumeKafka)读取数据流,并将其写入
HDFS
(
使用
PutHDFS)。目前,我看到很多在
HDFS
上创建的小
文件
。新
文件
大约每秒钟创建一次,有些只有一两条记录。Message Demarcator = <new line>Max
浏览 3
提问于2017-10-16
得票数 0
回答已采纳
1
回答
如何为Kerberized集群配置Apache
NiFi
hive
、
kerberos
、
cloudera
、
hortonworks-data-platform
、
apache-nifi
我让Apache
NiFi
独立运行,运行良好。但是,当我尝试设置Apache
NiFi
来访问Hive或
HDFS
时, Kerberized集群。我有问题了。有人能指导我设置
HDFS
/Hive/HBase (与Kerberos一起)的文档吗?下面是我在
nifi
.properties中给出的配置
nifi
.kerberos.krb5.file=/etc/krb5.conf
nifi
.kerberos.servi
浏览 4
提问于2016-12-23
得票数 3
1
回答
需要安装hadoop和
HDFS
的哪种模式?
hadoop
我是hadoop和
HDFS
的初学者,现在我需要连接3台不同的PC,其中有一个
文件
,
NIFI
和Hadop+
HDFS
。机器1:将有一个.csv
文件
机2(个人笔记本电脑):将我的
NIFI
运行到它。机器3(在我的办公室运行):里面有Hadoop+
HDFS
。 现在,我想
使用
运行在机器2上的
nifi
将一个csv
文件
从机器1发送到运行在机器3上的数据库。我
使用
ssh连接连接到机器3,这基本上是我办公室的一个路由器
浏览 3
提问于2022-03-14
得票数 0
1
回答
将
nifi
摄取到
hdfs
到单个目录
hdfs
、
apache-nifi
、
filebeat
、
elastic-beats
问题是Found 9 items-rw-r--r-- 3
nifi
hdfs
浏览 2
提问于2020-07-06
得票数 0
回答已采纳
1
回答
来自
NiFi
KafkaConsumer的from
文件
属性
java
、
apache-spark
、
apache-kafka
、
kafka-consumer-api
、
apache-nifi
我一直试图访问
NiFi
流量
文件
属性从卡夫卡消息在星火流。我
使用
Java
作为
语言。场景是,
NiFI
使用
GetSFTP处理器从FTP位置读取二进制
文件
,并
使用
publishKafka处理器将byte[]消息发布到Kafka。这些byte[]属性
使用
火花流作业转换为ASCII数据,这些解码后的ASCII被写入Kafka进行进一步处理,并
使用
NiFi
处理器保存到
HDFS
。我的问题是我无法跟
浏览 9
提问于2017-06-09
得票数 1
回答已采纳
1
回答
用于将数据从RDMBS导入到
HDFS
的Apache与
NiFi
的性能比较
apache-nifi
我们正在探索Apache
NiFi
,将其
作为
满足企业需求的通用数据摄取工具。 一个典型的数据摄取需求是将数据从RDBMS系统移动到
HDFS
。我能够
使用
NiFi
提供的GenerateTableFetch和ExecuteSQL处理器在
NiFi
中构建从关系型数据库到
HDFS
的数据移动流,对于较小的表,一切工作正常。 ? 但是,我无法测试更大的表的流,因为我
使用
的是独立的发行版。 有没有人针对类似的需求做过
NiFi
和SQOOP的性能比较
浏览 25
提问于2019-05-14
得票数 3
1
回答
是否可以将
Nifi
放到多个
HDFS
文件
夹中?
hadoop
、
hdfs
、
apache-nifi
我需要将一堆json
文件
流式传输到
Nifi
,然后
Nifi
再转到
HDFS
。
Nifi
需要查看json
文件
中的创建日期(UNIX格式),然后将其路由到适当的
HDFS
文件
夹。到目前为止,我的处理器设置如下: 消费Kafka -> RouteOnContent (
使用
正则表达式^"creationDate":\"0-9{4}-0-9{2}-0-9{2}$) -> PutHDFS每天都有一个
HDF
浏览 15
提问于2019-01-29
得票数 0
2
回答
等待所有
文件
的到来-
NiFi
apache-nifi
Nifi
中是否有处理器等待所有
文件
到达,然后将这些
文件
放入
HDFS
。例如:如果要
使用
SFTP获取总共5个
文件
,但我们只接收到3个
文件
,我希望
NiFi
等待5个
文件
到达,然后
使用
PUTHDFS将这5个
文件
放入
HDFS
。 谢谢你的答谢
浏览 2
提问于2021-09-24
得票数 0
回答已采纳
1
回答
如何在spark structured streaming中只流式传输旧
文件
中的新数据(新附加的)?
apache-spark
、
spark-streaming
、
spark-structured-streaming
我有多个
文件
是以块的形式编写的,我希望我的流在每次追加数据时处理每个
文件
的新数据。此外,我希望我的流只读取新
文件
,而不是已经处理的
文件
。我们将非常感谢您的帮助。
浏览 2
提问于2020-08-07
得票数 0
1
回答
Nifi
:无法在customProcessor中导入getFileSystem?
java
、
hadoop
、
apache-nifi
我想
使用
getFileSytem()来拉入任何比我们拥有的时间戳更新的
文件
,但我不能导入它(我的意思是getFileSytem())我有以下代码: createPathFilter(context)); Object[]{e
浏览 2
提问于2017-11-01
得票数 1
1
回答
在
hdfs
中存储小
文件
并在
Nifi
Flow中对其进行归档
hadoop
、
apache-kafka
、
hdfs
、
apache-nifi
、
execute-script
我有一个小
文件
和
HDFS
的问题。 场景:我正在
使用
NiFi
来阅读卡夫卡主题中的消息,这些都是非常小的。要求:将这些原始数据消息存储在
HDFS
中(用于重放功能),...before对其进行进一步处理。 我一直在考虑定期对它们
使用
Hadoop Archive (HAR)。这是我可以通过
Nifi
做的事情吗?“har命令看起来像是命令行的东西,而不是我可以通过
Nifi
执行的东西?我很想知道一个解决方案,可以满足我的要求,而不会因为
文件
太小而导
浏览 11
提问于2020-08-19
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Python查找目录中的重复文件
Linux 系统文件或目录查找:find 命令使用
Apache NiFi介绍及使用体验
命令行技巧:使用 find和xargs 查找和处理文件
iOS设备上微信文件夹的查找方法与使用技巧
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券