3回答
如何使用Apache FLUME将数据写入HA Hadoop QJM？
hadoop、hdfs、flume、high-availability
flume将如何识别活动namenode，以便将数据写入HDFS？如果没有High Availability Hadoop，我们将在flume.conf中配置namenode，这样数据就可以轻松地定向到HDFS。而在我们的例子中，Flume应该识别活动和备用名称节点，因此数据应该被定向到活动名称节点。
浏览 2提问于2015-05-12得票数 2
1回答
Apache Flume无法将文件从源复制到目标
hadoop、flume、hortonworks-data-platform、flume-ng、bigdata
我以根用户身份执行Flume agent，希望将保存在位置/root/data-pipeline/input的XML文件复制到hdfs中hdfs:///user/root/data_pipeline_demo当我以flume-ng agent -c /etc/flume/conf -f /etc/flume/conf/<e
浏览 0提问于2016-02-15得票数 0
1回答
Flume HDFS接收器的S3路径错误
amazon-s3、flume
我有一个Flume consolidator，它将每个条目都写入到亚马逊网络服务的S3存储桶中。似乎Flume在开头又追加了一个"/“。对这个问题有什么想法吗？这
浏览 0提问于2012-09-26得票数 2
回答已采纳
1回答
以编程方式将文件写入HDFS
hdfs、flume
我正在寻找Java程序中的选项，这些选项可以将文件写入HDFS，并满足以下要求。我知道如何通过打开显示为的FSDataOutputStream将数据写入到HDFS上的文件中。我偶然发现了Flume，它提供了HDFS接收器，可以支持事务、压
浏览 1提问于2013-04-30得票数 1
2回答
将flume配置为在将数据沉没到hdfs时不生成.tmp文件
hadoop、hdfs、flume、flume-ng
我正在使用flume将服务器日志中的数据流式传输到hdfs。但是，当数据被流式传输到hdfs时，它首先创建.tmp文件。在配置中有没有一种方法可以隐藏.tmp文件，或者可以通过附加一个。在前面。agent -c conf -f /etc/flume/conf/flume-trg-agent.conf -n collector
#http://flume.apache.org/FlumeUserGuide.html#h
浏览 3提问于2015-07-15得票数 2
1回答
强制终止+启动后未清理Apache Flume .tmp文件
flume、flume-ng
我看到了几个与此相关的问题，但没有完全得到我想要的东西。我使用的是Flume 1.8.0，在Flume代理被强行杀死后，我看到了.tmp文件。这些不会在重新启动冲槽代理时清除。有没有办法配置Flume代理来进行清理，或者这是我需要自己处理的事情(在Flume之外)？这是我用于测试的flume conf文件：agent.channels = memoryChannel
#.ty
浏览 8提问于2019-07-29得票数 0
1回答
如何使用Flume实时将数据写入HDFS？
hadoop、hive、hdfs、bigdata、flume
我使用水槽来存储HDFS中的传感器数据。一旦通过MQTT接收到数据。订阅者将JSON格式的数据发布到Flume HTTP侦听器。它目前运行良好，但问题是，直到我停止它(或者文件的大小达到128 or)，才能写入HDFS文件。我使用Hive在读取时应用模式。不幸的是，结果的hive表只包含一个条目。这是正常的，因为Flume没有将新的数据写入文件(由Hive加载)。
是否有任何方式强迫Flume以近乎实时的方式将新的数据写入</
浏览 1提问于2018-10-16得票数 1
1回答
是否有工具可以将目录中的内容按原样连续复制到HDFS？
hadoop、hdfs、etl、flume
我尝试使用flume目录假脱机程序源和HDFS接收器。但这并没有达到我的目的，因为，文件是由Flume读取，然后作为可以按大小/时间滚动的部分文件写入HDFS (如果我弄错了，请纠正我)。有没有一个工具可以持续地对转储到spool目录中的所有文件执行HDFS之类的操作？
浏览 3提问于2015-09-28得票数 1
1回答
水槽-无法配置接收器-没有为接收器配置的通道
hadoop、flume-ng
我已经配置了flume来读取日志文件并写入HDFS。当我启动水槽时，会读取日志文件，但它不会写入HDFS。= memory
agent1.sinks.sink1.type = hdfs
#agent1.sinks.sink1.hdfs.path = hdfs://sandbox.hortonworks.com:8020/hdfs/Suriya/
浏览 3提问于2015-08-04得票数 1
回答已采纳
1回答
可以单独使用Flume Kafka Source吗？
apache-kafka、flume、flume-ng
假设有一群生产者将avro记录(具有相同的模式)写入到Kafak主题中。 我可以使用Flume Kafka Source读取这些记录并将它们写入HDFS吗？即使记录不是使用Flume Sink发布的？
浏览 21提问于2019-09-13得票数 1
回答已采纳
1回答
将20 to文件导入Hadoop的最佳方法
java、hadoop、apache-spark、sqoop、flume
我有一个巨大的20 to文件要复制到Hadoop/HDFS中。当然，我需要管理任何错误情况(如果服务器或传输/加载应用程序崩溃)。
浏览 5提问于2016-05-31得票数 0
回答已采纳
2回答
用于水槽接收器文件的Hadoop Streaming MapReduce - FileNotFoundException
hadoop、filenotfoundexception、flume、tmp
java.io.FileNotFoundException: File does not exist: /log1/20131025/2013102509_at1.1382659200021.tmp at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.openInfoFlume
浏览 2提问于2013-10-25得票数 2
1回答
Flume -从HDFS中删除
hdfs、flume
我可以查看由Flume应用程序放置在HDFS上的文件-
sudo -u flume hadoop fs -cat tweets/2015/05/06/15/FlumeData.1430952817762hdfs://quickstart.cloudera:8020/user/flume/tweets: Permission denied: user=flume, access=WRITE,
浏览 2提问于2015-05-07得票数 2
1回答
如何确定水槽拓扑方法？
hadoop、hive、flume
目前，我们已经使用了rsyslog(写入tcp端口)，php脚本将这些日志写入到rsyslog。我们在每个we服务器上运行一个本地代理，这些本地代理监听tcp端口，并将数据直接放入hdfs中。因此localhost:tcpport是“水槽源”，而"hdfs“是水槽接收器。对于上述方法，我不太清楚，我混淆了三种方法：
方法1:每台机器上的Web、RSyslog & Flume代理和在hadoop集群中的Namenode上运行的Flume收集器，收集数据并
浏览 2提问于2014-04-03得票数 3
回答已采纳
2回答
使用Kafka将数据导入Hadoop
hadoop、flume、apache-kafka
首先，我在考虑如何将事件放入Hadoop，并对事件进行定期分析(可能会使用Ooozie来安排定期分析) Kafka或Flume，并决定Kafka可能是一个更好的解决方案，因为我们也有一个组件进行事件处理我发现可以把水槽和卡夫卡结合使用
Camus的Kafka=>HDFS管道。
浏览 1提问于2014-11-04得票数 6
回答已采纳
2回答
无法在使用flume的hdfs中找到我的数据写入
hadoop、flume-ng
我正在尝试用Flume在HDFS中写入数据。a1.sinks.k1.hdfs.path = /etc/flume/conf/Dataa1.sinks.k1.hdfs.fileType每次输入后，我都会从启动代理的窗口中收到以下消息：
16/03/23 10:19:16 INFO hdfs.BucketWriter:
浏览 0提问于2016-03-23得票数 0
1回答
使用Flume将CSV文件写入HDFS
hdfs、flume
我正在使用Flume将一些CSV文件从本地文件系统写入HDFS。我需要在这些值上添加什么来模拟我想要的行为？hdfs.batchSize = x
hdfs.rollSize = x
浏览 3提问于2015-05-07得票数 5
回答已采纳
3回答
HDFS ls在Flume编写文件时显示文件大小为0。
azure、hadoop、hdfs、azure-hdinsight
我们目前正在建立一个Apache系统，它收集事件数据并将其写入我们的HDInsight HDFS集群中的文件。在验证初始设置时，hdfs ls在Flume写入文件时显示文件大小为0，但是当文件滚动时(以及删除.tmp文件扩展名)，文件大小突然跳起。对于HDFS或HDInsight (或WASB)，在Flume写入文件时，文件大小是否为0？
浏览 3提问于2016-02-25得票数 3
回答已采纳
1回答
Flume代理从Kafka读取数据并以拼图格式存储数据
json、hadoop、apache-kafka、parquet、flume
我找不到一种解决方案，可以直接将数据写入Parquet格式
浏览 16提问于2019-10-28得票数 1
1回答
Flume HDFS接收器仅使用netcat源存储一行数据源
hadoop、flume、flume-ng
我尝试使用Flume 1.7将数据加载到HDFS中。我创建了以下配置：Name491,491我面临的问题是，没有任何错误，flume是写到hdfs</
浏览 0提问于2016-11-27得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号