数据从Kafka流向HDFS时出现Flume没有足够的空间错误
当数据从Kafka流向HDFS时出现Flume没有足够的空间错误，这通常是由于Flume所在的目标HDFS文件系统的可用空间不足导致的。解决这个问题的方法有以下几种：
- 扩容HDFS文件系统：可以通过增加HDFS集群的存储节点或者扩大每个节点的存储容量来增加可用空间。具体操作可以参考HDFS的官方文档或者相关教程。
- 清理HDFS文件系统：可以通过删除不再需要的旧数据或者临时文件来释放空间。可以使用HDFS命令行工具或者图形化界面工具来管理和清理HDFS文件系统。
- 调整Flume的配置：可以通过调整Flume的配置文件来限制数据的写入速率，以减少对HDFS空间的占用。可以通过调整Flume的batch大小、写入间隔等参数来控制数据的写入速率。
- 数据压缩和归档：可以考虑对数据进行压缩和归档，以减少数据在HDFS上的存储空间。可以使用压缩工具如gzip、bzip2等对数据进行压缩，并将压缩后的数据归档到更大容量的存储介质如云存储服务或者分布式文件系统中。
- 数据清洗和过滤：可以在Flume中添加数据清洗和过滤的步骤，以减少不必要的数据写入到HDFS中。可以使用Flume的拦截器或者自定义插件来实现数据清洗和过滤的功能。
腾讯云相关产品推荐：
- 对于扩容HDFS文件系统，可以使用腾讯云的云服务器CVM来增加存储节点，详情请参考：腾讯云云服务器
- 对于数据压缩和归档，可以使用腾讯云的对象存储COS来存储压缩和归档后的数据，详情请参考：腾讯云对象存储COS
- 对于数据清洗和过滤，可以使用腾讯云的流数据处理服务CDPS来实现数据清洗和过滤的功能，详情请参考：腾讯云流数据处理服务CDPS
相关·内容
我们正在努力解决从Kafka到由Flume管理的HDFS的数据流问题。由于下面描述的异常，数据未完全传输到hdfs。然而，这个错误看起来会误导我们，我们在数据目录和hdfs中都有足够的空间。我们认为这可能是通道配置的问题，但我们对其他来源也有类似的配置，并且它对它们正常工作。如果有人不得不处理这个问题，我将不胜感激。
17 Aug 2017 14:15:24,335 ERROR [Log-BackgroundWorker-channel1] (org.apache.flume.channel.file.Log$BackgroundWorker.run:1204) - Error doing
浏览 11提问于2017-08-17得票数 0
回答已采纳
我正在尝试使用从kafka源到hdfs的水槽来摄取数据。下面是我的水槽文件。
flume1.sources = kafka-source-1
flume1.channels = hdfs-channel-1
flume1.sinks = hdfs-sink-1
flume1.sources.kafka-source-1.type = org.apache.flume.source.kafka.KafkaSource
flume1.sources.kafka-source-1.bootstrap.servers = localhost:9092
flume1.sources.kafka-sour
浏览 0提问于2018-03-12得票数 2
我正在尝试从我的kafka主题中提取数据并将其写入HDFS，并且我的flume conf似乎与我在几个示例中看到的相同，但我似乎无法绕过下面的错误。我可以通过python从主题中进行消费，所以我知道我可以做到这一点。我使用的是flume版本1.6.0和java 9.0.1。我做错了什么，让它不接受卡夫卡的话题？
09 Jul 2018 17:17:26,973 INFO [conf-file-poller-0] (org.apache.flume.node.AbstractConfigurationProvider.loadChannels:145) -Creating channels
0
浏览 0提问于2018-07-10得票数 1
1回答
我正在尝试将数据从kafka (最终我们将使用运行在不同实例上的kafka )发送到hdfs。我认为flume或某种摄取协议是将数据放入hdfs所必需的。所以我们使用的是cloudera的flume服务和hdfs。
这是我的flume-conf文件。另一个配置文件为空
tier1.sources=source1
tier1.channels=channel1
tier1.sinks=sink1
tier1.sources.source1.type=org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.zookeeper
浏览 1提问于2016-06-10得票数 0
1回答
我试图建立一个基本的卡夫卡-水槽-HDFS管道。卡夫卡已经开始运作了，但是当我启动水槽代理时
bin/flume-ng agent -n flume1 -c conf -f conf/flume-conf.properties -D flume.root.logger=INFO,console
似乎代理并不是作为我得到的唯一控制台日志出现的：
Info: Sourcing environment configuration script /opt/hadoop/flume/conf/flume-env.sh
Info: Including Hive libraries found via ()
浏览 5提问于2017-03-08得票数 1
回答已采纳
我在寻找是否有一种方法可以使用spark streaming而不使用Flume将流数据从Kafka直接加载到HDFS中。我已经用Flume(Kafka源和HDFS接收器)试过了。
提前感谢！
浏览 0提问于2017-10-19得票数 0
我正在尝试通过flume将数据从kafka放入hdfs中。kafka_producer每10秒发送一条消息。我想在hdfs上将所有消息收集到一个文件中。这是我使用的flume的配置，但它在hdfs上存储了许多文件(一个用于消息)：
agent1.sources.kafka-source.type = org.apache.flume.source.kafka.KafkaSource
agent1.sources.kafka-source.zookeeperConnect = localhost:2181
agent1.sources.kafka-source.topic = prova
age
浏览 40提问于2017-07-07得票数 1
我正在尝试摄取实时数据，使用Kafka作为源，并使用flume，因为sink.Sink类型是HDFS。我的生成器工作得很好，我可以看到生成的数据，我的代理也运行得很好(运行命令时没有错误)，但是文件没有在指定的目录中生成。
用于启动flume agent的命令：
/usr/hdp/2.5.0.0-1245/flume/bin/flume-ng agent -c /usr/hdp/2.5.0.0-1245/flume/conf -f /usr/hdp/2.5.0.0-1245/flume/conf/flume-hdfs.conf -n tier1
和我的flume-hdfs.conf文件：
t
浏览 2提问于2017-07-17得票数 1
某些HDFS接收器文件未关闭 有人说，如果接收器进程因超时等问题而失败，它不会再次尝试关闭文件。 我已经检查了我冲水槽日志文件，但没有错误。然而，日志文件显示，每个周期，flume会生成两个tmp文件，并且只关闭一个tmp文件... 如果您对配置有任何建议，将不胜感激！谢谢! #Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#Configure the Kafka Source
a1.sources.r1.type = org.apache.flume.source.ka
浏览 63提问于2019-04-23得票数 0
文本文件中的xml数据。将它们导入flume和kafka到hdfs，并将它们保存为.txt文件格式。
退出用例: xml文件正在通过flume→kafka→flume截取程序(验证模式是否有效)-->发送到有效或无效的kafka tpoic→hdfs接收器(有效和无效)保存在flume文件中。
新的是：
我需要采取有效的kafka主题，并需要编写自己的冲水槽拦截器，以转换xml数据为avro格式，并发送到→hdfs接收器(hdfs有效位置)最终输出需要在avro文件格式。
任何帮助都将不胜感激
先谢谢你...
浏览 15提问于2017-08-21得票数 0
我正在尝试用Apache构建管道: spooldir -> kafka通道-> hdfs接收器
事件进入卡夫卡主题，没有问题，我可以看到他们与卡夫卡特的要求。但是kafka频道不能通过接收器将文件写入hdfs。错误是：
在等待Kafka的数据时超时
全日志：
2016-02-26 18:25:17,125 (SinkRunner-PollingRunner-DefaultSinkProcessor-SendThread(zoo02:2181))调试- org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnx
浏览 1提问于2016-02-26得票数 0
1回答
虽然我能够将Flume数据(来自Kafka)正确地存储在HDFS中，但我没有运气将它们存储在HBase中……平台是Cloudera 5.10.1。
我的flume conf是：
tier1.sources = source1
tier1.channels = channel1
#tier1.sinks = hdfs1
tier1.sinks = hbase1
tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.zookeeperConnect = maste
浏览 17提问于2017-06-25得票数 1
回答已采纳
我们在kafka中有如下json：{'date':'2017-01-01'，'timestamp'：1483228800，'field1':xxxx，...}。{'date':'2017-01-02'，'timestamp'：1483315200，'field1':xxxx，...}我们希望使用flume将事件从kafka加载到hdfs。我们希望根据json中的日期对文件进行分区。但是，我们不知道flume是否支持此功能。似乎只有httpsource支持jsonhan
浏览 1提问于2017-05-03得票数 1
当hdfs不可用时，有没有办法确保数据的安全性？场景是: kafka-source，flume memory-channel，hdfs-sink。如果flume服务宕机，是否可以存储topic分区的偏移量，并在恢复后从正确的位置消费？
浏览 3提问于2016-06-12得票数 0
我需要在不属于HDFS数据节点或名称节点的单独机器中运行flume，它必须从Kafka读取数据并将其存储在运行在单独集群中的HDFS中。能办到吗？我得到了与hadoop文件相关的错误。
浏览 2提问于2016-05-09得票数 0
回答已采纳
我使用水槽从kafka主题HDFS文件夹加载消息。所以,
我创建了一个主题TT
我与卡夫卡控制台生产商一起向TT发送了消息。
我配置了水槽代理FF
运行水槽代理flume-ng代理-n FF -c conf -f flume.conf - Dflume.root.logger=INFO，控制台
代码执行将停止，不会出现错误，也不会向HDFS写入任何内容。日志文件包含此警告、未由使用者线程flume_-0为主题使用的代理分区。
任何帮助都是非常感谢的。谢谢。)
浏览 0提问于2018-02-14得票数 1
回答已采纳
我正在尝试实现一个简单的Flume HDFS接收器，它将从Kafka通道获取事件，并将它们作为文本文件写入hdfs。
这座建筑非常笔直。这些事件是从twitter中流出来的，并被切换到kafka主题，而flume接收器确实会将这些事件写入hdfs。这是的第二部分.
在执行此命令时没有错误，看起来它运行得很好，但是我无法在hdfs中看到文本文件。我无法调试或调查，因为在/var/log/flume/文件夹中没有创建日志文件。我正在使用Hortonworks沙箱2.3.1和色彩浏览文件系统。
执行flume的命令： flume-ng agent -n KafkaSink -c conf -f
浏览 2提问于2016-08-27得票数 0
回答已采纳
1回答
我正在从Kafka读取数据，并沉入HDFS。Flume有没有办法压缩数据并存储在HDFS中？(Kafka不压缩数据)
浏览 1提问于2016-01-15得票数 0
1回答
我有以下flume代理配置，用于从kafka源读取消息并将它们写回HDFS接收器
tier1.sources = source1
tier 1.channels = channel1
tier1.sinks = sink1
tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.zookeeperConnect = 192.168.0.100:2181
tier1.sources.source1.topic = test
tier1.sources.source
浏览 1提问于2016-10-18得票数 1
通过将消息发布到Kafka主题，我们开始整合应用程序中的事件日志数据。虽然我们可以直接从应用程序写到Kafka，但我们选择将它作为一个通用问题来处理，并使用Flume代理。这提供了一些灵活性:如果我们想从服务器获取其他内容，我们只需跟踪不同的源并发布到不同的Kafka主题。
我们创建了一个Flume代理conf文件来跟踪日志并发布到Kafka主题：
tier1.sources = source1
tier1.channels = channel1
tier1.sinks = sink1
tier1.sources.source1.type = exec
tier1.sources.sour
浏览 4提问于2015-11-16得票数 4
回答已采纳
1回答
我想将csv文件从一台服务器(Unix server A)发送到hdfs目录。基于哪些csv文件，我想将它们放在hdfs中的不同目录中。
我有11个csv文件，它们将由unix服务器A上的kafka producer发送给kafka。csv文件的第一个元素将包含一个密钥。我想把第一个元素作为kafka消息的关键字。另外，我想在kafka中发送数据的值作为消息。
当它命中kafka集群时，将有一个flume代理来摄取数据，并有一个拦截器根据键对数据进行排序，以将数据定向到11个kafka主题通道(如flume中的通道)。然后，通道会将数据重定向到适当的hdfs目录。
这种设计有意义吗？还是有更好
浏览 1提问于2016-10-28得票数 0
1回答
我正在考虑使用大数据来构建一些东西。理想情况下，我想要做的是：
取一个.csv放入flume，然后kafka，执行n，再放回Kafka，从kafka放入flume，然后放入hdfs。一旦信息在hdfs中，我想执行map reduce作业或一些hive查询，然后绘制任何我想要的图表。
如何将.csv文件放入flume并保存到kafka？我有这段代码，但我不确定它是否可以工作：
myagent.sources = r1
myagent.sinks = k1
myagent.channels = c1
myagent.sources.r1.type = spooldir
myagent.sourc
浏览 0提问于2015-08-25得票数 0
我们每天都会从应用程序中获得新的文件，csv的形式存储在windows服务器上比如c:/program files(x86)/webapps/apachetomcat/.csv每个文件都有不同的数据，所以有没有hadoop组件可以将文件从windows服务器传输到hadoop hdfs，我遇到了flume，kafka，但没有得到适当的例子，有人能在这里遮光吗？
因此，每个文件都有单独的名称，大小高达10-20mb，每天的文件数超过200个，一旦添加到windows服务器的文件，flume/kafka应该能够将这些文件放入hadoop中，以后的文件将从HDFS导入，经过spark处理，并移动到H
浏览 0提问于2016-12-01得票数 0
1回答
我正在尝试建立一个从控制台Kafka生产者到Hadoop文件系统(HDFS)的简单数据管道。我正在一个64位的Ubuntu虚拟机上工作，并且已经为Hadoop和Kafka创建了单独的用户，正如我遵循的指南所建议的那样。使用控制台消费者在Kafka中使用产生的输入是可行的，并且HDFS似乎已经启动并运行。
现在，我想使用Flume将输入通过管道传输到HDFS。我使用以下配置文件：
tier1.sources = source1
tier1.channels = channel1
tier1.sinks = sink1
tier1.sources.source1.type = org.apac
浏览 5提问于2017-10-19得票数 0
2回答
带有avro记录的Kafka
、、、、
我有:源- kafka主题(trans)通道-内存宿- Hdfs (avro_event)
卡夫卡主题trans中的数据是使用c#生成器编写的，具有数以千计的avro记录。当我运行我的flume使用者时，它开始将数据存入hdfs。问题是数据的格式是: schema data schema data
而不是：
模式数据数据
我猜这是因为flume期望的记录类型是{header} {body}，而来自kafka的数据将只是{body}我知道有一种方法可以将写入主题的avro数据包装在avroFlumeEvent中，但随后它似乎不再是真正的avro记录，也许spark消费者或storm会更喜欢真正a
浏览 0提问于2015-03-01得票数 2
Flume安装在亚马逊EC2上(Amazon Linux AMI 2018.03.0.20190514 x86_64 HVM gp2) Flume版本: 1.9 我试着用一个本地的作为接收器，复制效果很好。但是当我使用S3作为接收器时，我遇到了URI中的无效主机名问题。我仔细检查了我的访问密钥和密钥，它们都是正确的。 我尝试使用s3n://它不起作用 # example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.ch
浏览 30提问于2019-05-28得票数 0
2回答
是否可以将flume接收器配置为我的代理的文件系统。我是否必须沉没到hdfs或hadoop？
我正在使用flume 1.6.0和kafka 10.1.1
如果你问我，我会展示我的flume配置和flume命令行参数，但也许我正在做一些不应该做的事情。
我尝试在不安装hadoop或hdfs的情况下在kafka端进行一些概念验证。
我看到了roll_file的配置，但也许在这些版本中，这样的概念只适用于hdfs？
浏览 0提问于2018-03-14得票数 0
1回答
许多网站建议在停止冲水槽代理时使用kill -9。 但是，当我使用kill -9停止代理时，HDFS接收器文件永远保持打开(作为*.tmp)。 如何优雅地停止flume代理，以便代理在停止之前关闭HDFS上的所有写入文件。 #Name the components on this agent
agent.sources = r1
agent.sinks = k1
agent.channels = c1
#Configure the Kafka Source
agent.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a
浏览 18提问于2019-05-30得票数 0
回答已采纳
1回答
因此，当标头声明我有一个带kafka源的flume代理时，它会写入HDFS位置，压缩为avro，并且我希望复合它来将事件写入日志文件中。我在AKS内部的一个吊舱里运行我的水槽。
这就是我到目前为止尝试过的，我的水槽配置的这一部分：
flumeagent.sources = kafkaSource
flumeagent.sources.kafkaSource.channels = kafkaChannel logChannel
flumeagent.sources.kafkaSource.selector.type = multiplexing
flumeagent.sources.kafkaS
浏览 3提问于2021-12-22得票数 0
回答已采纳
1回答
槽辊设置不起作用
、、、
Edit*：这是完整的配置文件：
tier1.sources = source1
tier1.channels = channel1
tier1.sinks = sink1
tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.command = /usr/bin/vmstat 1
tier1.sources.source1.channels = channel1
tier1.sources.source1.kafka.consumer.timeout.ms =
浏览 3提问于2015-02-24得票数 0
目前还不清楚你是否可以像在Flume中那样在Kafka中进行扇出(复制)。
我想让Kafka将数据保存到HDFS或S3，并将该数据的副本发送到Storm进行实时处理。Storm聚合/分析的输出将存储在Cassandra中。我看到一些实现将所有数据从Kafka流向Storm，然后从Storm输出两个数据。但是，我希望消除Storm对原始数据存储的依赖。
这个是可能的吗？您是否知道有类似这样的文档/示例/实现？
另外，Kafka对S3存储有很好的支持吗？
我看到了用于存储到HDFS的Camus --您只是通过cron运行此作业来不断地将数据从Kafka加载到HDFS吗？如果作业的第二个实例在前一个
浏览 2提问于2013-06-23得票数 3
回答已采纳
我已经创建了一个flume管道来使用flume将数据从Kafka移动到HDFS。我已经将rolloverSize设置为150MB，它可以正确地进行翻转。
然而，我希望消息频繁地写入HDFS文件，而不是一次性写入所有消息，即当前消息被保存在缓冲区中，并在达到150MB大小时刷新。基本上，我希望在接近实时的情况下将消息写入HDFS，并在达到150MB时滚动文件。
我尝试设置batchSize属性，但没有太多帮助。
上述要求是否可以在水槽中实现？
浏览 0提问于2016-11-30得票数 0
我们使用kafka引擎来连接kafka主题，然后使用物化视图来存储数据。
但是有时候，kafka-engine没有使用一些数据(因为我们还应用flume将数据放到hdfs文件中，而这些丢失的数据可以在hdfs文件中找到)。
除了升级clcikhouse服务器版本(我们正在升级clickhouse服务器)之外，有没有其他方法可以找到与定位问题相关的日志？
浏览 1提问于2019-12-25得票数 0
我是第一次接触Flume，我想在下面的场景中使用Flume。
我们的系统以HTTP POST的形式接收事件，我们需要将事件的一个副本存储在Kafka中(用于进一步处理)，并将另一个副本存储在HDFS中(作为永久存储)。
我们是否可以将Flume源配置为HTTP，通道配置为KAFKA，宿配置为HDFS，以满足我们的要求。这个解决方案能行吗？
浏览 3提问于2015-09-19得票数 4
1回答
Flume版本:- 1.6
Kafka版本:- 1.0.0
Zookeeper版本:- 3.4.10
我们有一个快速连接Flume与Kafka和Hadoop的需求，所以我们从Kafka Consumer摄取，并将事件摄取到Hadoop。一切都是使用conf文件配置的，直到现在一切都很好。
现在，我们需要检查是否可以使用自定义Java代码完成此操作。我尝试了互联网上的许多选择，以设计一个kafka源和HDFS接收器。我在cloudera VM中尝试过。
Kafka和zookeeper已经启动并运行。
代码正在运行，但是当我生成消息时，HDFS中没有插入任何内容。
如果有人能指出我遗漏了什么，那将
浏览 0提问于2018-04-18得票数 0
1回答
当我使用Flume时，从Kafka源获取数据，并将数据写入HDFS，但是有些主题不能很好地工作。Kafka的版本是kafka_2.11-0.8.2.1。因此，我运行命令bin/kafka-topics.sh --zookeeper zk:port/kafka --describe，结果是
Topic:__consumer_offsets PartitionCount:50复制因子:3 Configs:segment.bytes=104857600，cleanup.policy=compact
主题：__consumer_offsets分区:0领导:2复制: 2,3,1，1主题：__consu
浏览 1提问于2016-03-17得票数 0
环境
Apache 2.7.0 Flume 1.9.0
问题
目前，在我们的架构中，
我们使用的是卡夫卡频道的水槽，没有源也没有汇到HDFS.。
在未来，我们将建立一个卡夫卡HA集群使用卡夫卡镜子制造商。
因此，即使一个集群被关闭，我也尝试使用它，这样通过连接到另一个集群就不会出现故障问题。
为了做到这一点，我认为我们需要用Flume的regex模式订阅主题。
假设组A和组B存在，两个组有一个名为ex的主题。
镜像制造者相互复制ex，所以集群A有主题: ex，b.ex，集群B有主题: ex，a.ex。
例如，当从集群A读取e和b.e时，如果出现故障，则尝试通过转到相反的集群读取ex和a.ex。
浏览 3提问于2021-06-10得票数 0
回答已采纳
我知道flume和Kafka，但这些都是事件驱动的工具。我不需要它是事件驱动的或实时的，但可能只是一天一次的导入。
有哪些数据接收工具可用于从HDFS中的API导入数据？
我使用的也不是HBase，而是HDFS和Hive。
我已经使用Hadoop语言很长一段时间了，但我正在寻找一种更健壮的，可能是R环境的本机解决方案。
浏览 14提问于2016-09-15得票数 0
回答已采纳
Flume HDFS接收器配置如下：
tier1.sinks.sink1.hdfs.path = /project/mgd/
tier1.sinks.sink1.hdfs.filePrefix = EMA_LOG%Y%m%d
tier1.sinks.sink1.hdfs.rollInterval = 86400
#tier1.sinks.sink1.hdfs.rollInterval = 3600
tier1.sinks.sink1.hdfs.fileSuffix = .json
tier1.sinks.sink1.hdfs.writeFormat = Text
tier1.sin
浏览 0提问于2019-04-10得票数 0
我正在尝试将twitter消息放入hdfs。我没有收到错误消息，但我仍然无法在hdfs中找到输出。
下面是我的conf文件：
TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = hdfs
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
TwitterAgent.sources.Twitter.channels = MemChanne
浏览 3提问于2016-01-17得票数 0
如何在Linux中将日志文件从7流到HDFS ?
Windows中的水槽导致了错误
我已经在Windows 7(节点1)上安装了“flume 0.9.3”。“flumenode”服务正在运行，可以访问localhost:35862。
在Windows中，日志文件位于‘C:/ log /Weblogic.log’
CentOS Linux (Node 2)中的Flume代理也在运行。
在Windows中，JAVA_HOME变量设置为"C:\Program \Java\jre7 7“
Java.exe文件位于"C:\Program Files\Java\jre7\bin\j
浏览 5提问于2015-04-22得票数 0
1回答
我正在尝试解析来自Flume/Kafka的数据。我已经将Flume.conf文件配置为指向Kafka。我可以将一个数据文件从Flume传递给Kafka。我想知道如何解析数据以从数据文件中提取一些字段，无论是Flume还是Kafka。有什么建议吗？谢谢
浏览 0提问于2015-11-08得票数 1
在我的项目中，我们总共有11个WSMQ作为Flume代理的源。卡夫卡主题作为渠道，卡夫卡主题是按信息类型划分的。HDFS作为水槽。
要求:我们希望使用通道代理从多个队列中读取数据，并对kafka主题的特定分区进行写入，以便以后可以从这些kafka分区读取数据。
现在，我们一共有11个kafka主题，每个队列的代理都在写消息。我们希望有一个单独的Kafka主题，它是在msg类型上分区的，传入的msgs可以写到这些分区中。
谁能建议一下，用例最好的方法是什么？
谢谢!
浏览 4提问于2016-01-15得票数 2
回答已采纳
我们复制了一个150mb的csv文件到flume的spool目录，当它被加载到hdfs时，文件被分割成更小的文件，比如80kb。有没有办法加载文件而不被分割成更小的文件使用flume？因为在namenode中会生成更多关于较小文件的元数据，所以我们需要避免这种情况。
我的flume-ng代码如下所示
# Initialize agent's source, channel and sink
agent.sources = TwitterExampleDir
agent.channels = memoryChannel
agent.sinks = flumeHDFS
# Setting
浏览 0提问于2014-03-20得票数 4
回答已采纳
flume将如何识别活动namenode，以便将数据写入HDFS？如果没有High Availability Hadoop，我们将在flume.conf中配置namenode，这样数据就可以轻松地定向到HDFS。而在我们的例子中，Flume应该识别活动和备用名称节点，因此数据应该被定向到活动名称节点。
浏览 2提问于2015-05-12得票数 2
假设有一群生产者将avro记录(具有相同的模式)写入到Kafak主题中。 我可以使用Flume Kafka Source读取这些记录并将它们写入HDFS吗？即使记录不是使用Flume Sink发布的？
浏览 21提问于2019-09-13得票数 1
回答已采纳
我使用以下配置将数据从日志文件推送到hdfs。
agent.channels.memory-channel.type = memory
agent.channels.memory-channel.capacity=5000
agent.sources.tail-source.type = exec
agent.sources.tail-source.command = tail -F /home/training/Downloads/log.txt
agent.sources.tail-source.channels = memory-channel
agent.sinks.log-sink.
浏览 1提问于2015-04-05得票数 0
1回答
我试图使用Flume将一些数据流到HDFS中，使用配置为具有netcat源、内存通道和HDFS接收器的单个代理。
配置如下：
a1.sources = src1
a1.channels = ch1
a1.sinks = snk1
# SOURCES CONFIGURATION
a1.sources.src1.type = netcat
a1.sources.src1.bind = 0.0.0.0
a1.sources.src1.port = 99999
a1.sources.src1.ack-every-event = false
# SOURCE -> CHANNEL
a1.sou
浏览 5提问于2014-11-21得票数 0
回答已采纳
我正在使用以下命令启动代理
bin/flume-ng代理--conf./ conf/twitter.conf Dflume.root.logger=DEBUG，console -n TwitterAgent
我的错误消息是
Exception in thread "Twitter Stream consumer-1[Receiving stream]" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:3332)
at java.lang.Abst
浏览 0提问于2018-05-15得票数 2
1回答
我需要知道如何实现通过Hadoop实时分析流量流的解决方案。
输入文件类型为.txt
我建议采取这样的步骤：
使用talend将平面文件传输到HDFS ( flume比talend更好吗？)
将数据从HDFS传输到Hive (但如何传输)
分析通径R
平面文件--> HDFS --> Hive --> R
非常感谢
苏菲安
浏览 2提问于2014-01-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
