腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何使用Apache
FLUME
将数据
写入
HA Hadoop QJM?
、
、
、
flume
将如何识别活动namenode,以便将数据
写入
HDFS
?如果没有High Availability Hadoop,我们将在
flume
.conf中配置namenode,这样数据就可以轻松地定向
到
HDFS
。而在我们的例子中,
Flume
应该识别活动和备用名称节点,因此数据应该被定向
到
活动名称节点。
浏览 2
提问于2015-05-12
得票数 2
1
回答
Apache
Flume
无法将文件从源复制
到
目标
、
、
、
、
我以根用户身份执行
Flume
agent,希望将保存在位置/root/data-pipeline/input的XML文件复制
到
hdfs
中
hdfs
:///user/root/data_pipeline_demo当我以
flume
-ng agent -c /etc/
flume
/conf -f /etc/
flume
/conf/<e
浏览 0
提问于2016-02-15
得票数 0
1
回答
Flume
HDFS
接收器的S3路径错误
、
我有一个
Flume
consolidator,它将每个条目都
写入
到
亚马逊网络服务的S3存储桶中。似乎
Flume
在开头又追加了一个"/“。对这个
问题
有什么想法吗?这
浏览 0
提问于2012-09-26
得票数 2
回答已采纳
1
回答
以编程方式将文件
写入
HDFS
、
我正在寻找Java程序中的选项,这些选项可以将文件
写入
HDFS
,并满足以下要求。我知道如何通过打开显示为的FSDataOutputStream将数据
写入
到
HDFS
上的文件中。我偶然发现了
Flume
,它提供了
HDFS
接收器,可以支持事务、压
浏览 1
提问于2013-04-30
得票数 1
2
回答
将
flume
配置为在将数据沉没到
hdfs
时不生成.tmp文件
、
、
、
我正在使用
flume
将服务器日志中的数据流式传输到
hdfs
。但是,当数据被流式传输到
hdfs
时,它首先创建.tmp文件。在配置中有没有一种方法可以隐藏.tmp文件,或者可以通过附加一个。在前面。agent -c conf -f /etc/
flume
/conf/
flume
-trg-agent.conf -n collector #http://
flume
.apache.org/FlumeUserGuide.html#h
浏览 3
提问于2015-07-15
得票数 2
1
回答
强制终止+启动后未清理Apache
Flume
.tmp文件
、
我看到了几个与此相关的
问题
,但没有完全得到我想要的东西。我使用的是
Flume
1.8.0,在
Flume
代理被强行杀死后,我看到了.tmp文件。这些不会在重新启动冲槽代理时清除。有没有办法配置
Flume
代理来进行清理,或者这是我需要自己处理的事情(在
Flume
之外)?这是我用于测试的
flume
conf文件:agent.channels = memoryChannel #.ty
浏览 8
提问于2019-07-29
得票数 0
1
回答
如何使用
Flume
实时将数据
写入
HDFS
?
、
、
、
、
我使用水槽来存储
HDFS
中的传感器数据。一旦通过MQTT接收到数据。订阅者将JSON格式的数据发布
到
Flume
HTTP侦听器。它目前运行良好,但
问题
是,直到我停止它(或者文件的大小达到128 or),才能
写入
HDFS
文件。我使用Hive在读取时应用模式。不幸的是,结果的hive表只包含一个条目。这是正常的,因为
Flume
没有将新的数据
写入
文件(由Hive加载)。 是否有任何方式强迫
Flume
以近乎实时的方式将新的数据
写入</
浏览 1
提问于2018-10-16
得票数 1
1
回答
是否有工具可以将目录中的内容按原样连续复制
到
HDFS
?
、
、
、
我尝试使用
flume
目录假脱机程序源和
HDFS
接收器。但这并没有达到我的目的,因为,文件是由
Flume
读取,然后作为可以按大小/时间滚动的部分文件
写入
HDFS
(如果我弄错了,请纠正我)。有没有一个工具可以持续地对转储
到
spool目录中的所有文件执行
HDFS
之类的操作?
浏览 3
提问于2015-09-28
得票数 1
1
回答
水槽-无法配置接收器-没有为接收器配置的通道
、
我已经配置了
flume
来读取日志文件并
写入
HDFS
。当我启动水槽时,会读取日志文件,但它不会
写入
HDFS
。= memory agent1.sinks.sink1.type =
hdfs
#agent1.sinks.sink1.
hdfs
.path =
hdfs
://sandbox.hortonworks.com:8020/
hdfs
/Suriya/
浏览 3
提问于2015-08-04
得票数 1
回答已采纳
1
回答
可以单独使用
Flume
Kafka Source吗?
、
、
假设有一群生产者将avro记录(具有相同的模式)
写入
到
Kafak主题中。 我可以使用
Flume
Kafka Source读取这些记录并将它们
写入
HDFS
吗?即使记录不是使用
Flume
Sink发布的?
浏览 21
提问于2019-09-13
得票数 1
回答已采纳
1
回答
将20 to文件导入Hadoop的最佳方法
、
、
、
、
我有一个巨大的20 to文件要复制
到
Hadoop/
HDFS
中。当然,我需要管理任何错误情况(如果服务器或传输/加载应用程序崩溃)。
浏览 5
提问于2016-05-31
得票数 0
回答已采纳
2
回答
用于水槽接收器文件的Hadoop Streaming MapReduce - FileNotFoundException
、
、
、
java.io.FileNotFoundException: File does not exist: /log1/20131025/2013102509_at1.1382659200021.tmp at org.apache.hadoop.
hdfs
.DFSClient$DFSInputStream.openInfo
Flume
浏览 2
提问于2013-10-25
得票数 2
1
回答
Flume
-从
HDFS
中删除
、
我可以查看由
Flume
应用程序放置在
HDFS
上的文件- sudo -u
flume
hadoop fs -cat tweets/2015/05/06/15/FlumeData.1430952817762
hdfs
://quickstart.cloudera:8020/user/
flume
/tweets: Permission denied: user=
flume
, access=WRITE,
浏览 2
提问于2015-05-07
得票数 2
1
回答
如何确定水槽拓扑方法?
、
、
目前,我们已经使用了rsyslog(
写入
tcp端口),php脚本将这些日志
写入
到
rsyslog。我们在每个we服务器上运行一个本地代理,这些本地代理监听tcp端口,并将数据直接放入
hdfs
中。因此localhost:tcpport是“水槽源”,而"
hdfs
“是水槽接收器。对于上述方法,我不太清楚,我混淆了三种方法: 方法1:每台机器上的Web、RSyslog &
Flume
代理和在hadoop集群中的Namenode上运行的
Flume
收集器,收集数据并
浏览 2
提问于2014-04-03
得票数 3
回答已采纳
2
回答
使用Kafka将数据导入Hadoop
、
、
首先,我在考虑如何将事件放入Hadoop,并对事件进行定期分析(可能会使用Ooozie来安排定期分析) Kafka或
Flume
,并决定Kafka可能是一个更好的解决方案,因为我们也有一个组件进行事件处理我发现可以把水槽和卡夫卡结合使用 Camus的Kafka=>
HDFS
管道。
浏览 1
提问于2014-11-04
得票数 6
回答已采纳
2
回答
无法在使用
flume
的
hdfs
中找到我的数据
写入
、
我正在尝试用
Flume
在
HDFS
中
写入
数据。a1.sinks.k1.
hdfs
.path = /etc/
flume
/conf/Dataa1.sinks.k1.
hdfs
.fileType每次输入后,我都会从启动代理的窗口中收到以下消息: 16/03/23 10:19:16 INFO
hdfs
.BucketWriter:
浏览 0
提问于2016-03-23
得票数 0
1
回答
使用
Flume
将CSV文件
写入
HDFS
、
我正在使用
Flume
将一些CSV文件从本地文件系统
写入
HDFS
。我需要在这些值上添加什么来模拟我想要的行为?
hdfs
.batchSize = x
hdfs
.rollSize = x
浏览 3
提问于2015-05-07
得票数 5
回答已采纳
3
回答
HDFS
ls在
Flume
编写文件时显示文件大小为0。
、
、
、
我们目前正在建立一个Apache系统,它收集事件数据并将其
写入
我们的HDInsight
HDFS
集群中的文件。在验证初始设置时,
hdfs
ls在
Flume
写入
文件时显示文件大小为0,但是当文件滚动时(以及删除.tmp文件扩展名),文件大小突然跳起。对于
HDFS
或HDInsight (或WASB),在
Flume
写入
文件时,文件大小是否为0?
浏览 3
提问于2016-02-25
得票数 3
回答已采纳
1
回答
Flume
代理从Kafka读取数据并以拼图格式存储数据
、
、
、
、
我找不到一种解决方案,可以直接将数据
写入
Parquet格式
浏览 16
提问于2019-10-28
得票数 1
1
回答
Flume
HDFS
接收器仅使用netcat源存储一行数据源
、
、
我尝试使用
Flume
1.7将数据加载到
HDFS
中。我创建了以下配置:Name491,491我面临的
问题
是,没有任何错误,
flume
是写到
hdfs</
浏览 0
提问于2016-11-27
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS
用户行为分析之数据采集
Flume系统介绍及安装配置
数据仓库调研
Flume拦截器
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券