腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
可以
单独
使用
Flume
Kafka
Source
吗
?
apache-kafka
、
flume
、
flume-ng
我
可以
使用
Flume
Kafka
Source
读取这些记录并将它们写入HDFS
吗
?即使记录不是
使用
Flume
Sink发布的?
浏览 21
提问于2019-09-13
得票数 1
回答已采纳
2
回答
是否
可以
使用
flume
作为
kafka
生产者进行日志摄取?
apache-kafka
、
flume
此管道的前提条件是
使用
kafka
作为传输协议。据我所知,
flume
有一个内置的接收日志文件的能力。有没有办法
使用
flume
作为生产者,并让它将输出传递到
kafka
主题上?
浏览 5
提问于2016-07-16
得票数 1
回答已采纳
1
回答
必须指定
flume
-ng throws
Kafka
主题
apache-kafka
、
hdfs
、
flume
我
可以
通过python从主题中进行消费,所以我知道我
可以
做到这一点。我
使用
的是
flume
版本1.6.0和java 9.0.1。我做错了什么,让它不接受卡夫卡的话题?:41) - Creating instance of
source
kafka
_
source
, type org.apache.
flume
.
source
.
kafka
.KafkaSource 09 Jul:361) -
Source
浏览 0
提问于2018-07-10
得票数 1
1
回答
必须指定
使用
Flume
从
kafka
到HDFS::ConfigurationException:引导服务器的数据
hadoop
、
apache-kafka
、
flume
、
flume-ng
我正在尝试
使用
从
kafka
源到hdfs的水槽来摄取数据。下面是我的水槽文件。
flume
1.sources =
kafka
-
source
-1
flume
1.sinks = hdfs-sink-1
flume
1.sources.
kafka
-
source
-1.type = org.apache.
flume
.
source
.<
浏览 0
提问于2018-03-12
得票数 2
1
回答
Netcat来源的事件不会通过
Kafka
频道
logging
、
apache-kafka
、
flume
我
使用
水槽代理通过水槽代理收集外部数据。外部数据批处理几乎是每10秒1MB。我配置了水槽代理如下。#
Flume
agent configuration as /
flume
/conf/agent.confagent.channels =从Ubuntu的资源监视器中,我
可以
看到以下性能。如果没有其他应用程序与网络io一起运行,我相信这个数字演示了我的
Flume
代理发生了什么。当我通过控制台消费者查看
浏览 3
提问于2016-03-25
得票数 1
1
回答
flume
采集
kafka
的时候报错,一直循环报错?
java
、
apache
、
kafka
、
flume
) [DEBUG - org.apache.
flume
.
source
.
kafka
.KafkaSource.process(KafkaSource.java:119)] Waited: 965 2018-11-23 1
浏览 1819
提问于2018-11-23
1
回答
需要帮助将
kafka
源调试到带水槽的hdfs接收器
hadoop
、
hdfs
、
apache-kafka
、
flume
、
flume-ng
我正在尝试将数据从
kafka
(最终我们将
使用
运行在不同实例上的
kafka
)发送到hdfs。我认为
flume
或某种摄取协议是将数据放入hdfs所必需的。所以我们
使用
的是cloudera的
flume
服务和hdfs。tier1.sources.
source
1.zookeeperCo
浏览 1
提问于2016-06-10
得票数 0
1
回答
Kafka
+
Flume
或
Kafka
+ Storm/Spark流
apache-kafka
、
flume
到目前为止,我的架构包括Storm/Spark streaming用于数据预处理,但我在某处读到
Flume
与
Kafka
的集成有很多好处。 有人能告诉我为什么要同时
使用
kafka
和
flume
吗
?
浏览 0
提问于2016-03-07
得票数 0
1
回答
来自卡夫卡的EOFException
hadoop
、
apache-kafka
、
hdfs
、
flume
、
flume-ng
我正在一个64位的Ubuntu虚拟机上工作,并且已经为Hadoop和
Kafka
创建了
单独
的用户,正如我遵循的指南所建议的那样。
使用
控制台消费者在
Kafka
中
使用
产生的输入是可行的,并且HDFS似乎已经启动并运行。tier1.sources =
source
1tier1.sinks = sink1 ti
浏览 5
提问于2017-10-19
得票数 0
1
回答
未在HDFS接收器中创建FlumeData文件
hadoop
、
apache-kafka
、
flume
我正在尝试摄取实时数据,
使用
Kafka
作为源,并
使用
flume
,因为sink.Sink类型是HDFS。我的生成器工作得很好,我
可以
看到生成的数据,我的代理也运行得很好(运行命令时没有错误),但是文件没有在指定的目录中生成。
source
1 tier1.sinks = sink1 tier1.sources.
source
1.type = org.apache.
flume
.
source</e
浏览 2
提问于2017-07-17
得票数 1
2
回答
只有一个文件通过
flume
从
kafka
传输到hdfs
hadoop
、
apache-kafka
、
hdfs
、
flume
我正在尝试通过
flume
将数据从
kafka
放入hdfs中。
kafka
_producer每10秒发送一条消息。我想在hdfs上将所有消息收集到一个文件中。这是我
使用
的
flume
的配置,但它在hdfs上存储了许多文件(一个用于消息): agent1.sources.
kafka
-
source
.type = org.apache.
flume
.
source
.
kafka
.KafkaSourceagent1.sources.<em
浏览 40
提问于2017-07-07
得票数 1
1
回答
带有
kafka
源的Apache水槽,
kafka
接收器和内存通道-抛出UNKNOWN_TOPIC_OR_PARTITION
apache-kafka
、
flume-ng
有另一个用例,在同一个项目中,最适合水槽,我需要
使用
相同的水槽管道为这个用例-虽然有其他的选择从卡夫卡复制到卡夫卡。a1.sources.r1.batchSize = 10a1.sourc
浏览 5
提问于2021-03-13
得票数 0
2
回答
avro事件,从
kafka
到HDFS,带
flume
apache-kafka
、
flume
、
avro
、
flume-ng
我有
kafka
集群,它接收来自生产者的avro事件。
使用
flume
可以
做到这一点
吗
?
浏览 3
提问于2015-10-24
得票数 3
1
回答
Flume
使用
案例:从HTTP读取并通过
Kafka
推送到HDFS
hdfs
、
apache-kafka
、
flume
、
flume-ng
我是第一次接触
Flume
,我想在下面的场景中
使用
Flume
。我们的系统以HTTP POST的形式接收事件,我们需要将事件的一个副本存储在
Kafka
中(用于进一步处理),并将另一个副本存储在HDFS中(作为永久存储)。我们是否
可以
将
Flume
源配置为HTTP,通道配置为
KAFKA
,宿配置为HDFS,以满足我们的要求。这个解决方案能行吗?
浏览 3
提问于2015-09-19
得票数 4
1
回答
对hadoop项目的建议
apache-kafka
、
flume
我正在考虑
使用
大数据来构建一些东西。理想情况下,我想要做的是:myagent.sources = r1myagent.channels = c1 myagent.sources.r1
浏览 0
提问于2015-08-25
得票数 0
2
回答
Flume
代理:将主机添加到消息中,然后发布到
kafka
主题
hadoop
、
apache-kafka
、
flume
、
flume-ng
通过将消息发布到
Kafka
主题,我们开始整合应用程序中的事件日志数据。虽然我们
可以
直接从应用程序写到
Kafka
,但我们选择将它作为一个通用问题来处理,并
使用
Flume
代理。我们创建了一个
Flume
代理conf文件来跟踪日志并发布到
Kafka
主题:tier1.channels = channel1tier1.channels.channel1.t
浏览 4
提问于2015-11-16
得票数 4
回答已采纳
1
回答
如何测试
Kafka
的输出?
file-upload
、
apache-kafka
、
flume-ng
我正在尝试集成
Flume
和
Kafka
,其中
Flume
获取数据文件并推送到
Kafka
,然后推送到Spark。我在一个博客上看到了这个配置文件,名为flafka.conf: tier1.channels = channel1 tier1.sources.
source
1.command = /User
浏览 1
提问于2015-10-31
得票数 1
1
回答
Flume
不会将数据存储到hbase
hadoop
、
hbase
、
cloudera
、
flume
虽然我能够将
Flume
数据(来自
Kafka
)正确地存储在HDFS中,但我没有运气将它们存储在HBase中……平台是Cloudera 5.10.1。hbase1 tier1.sources.
source
1..interceptors.i1.type = timestamp tier1.sources.
source
浏览 17
提问于2017-06-25
得票数 1
回答已采纳
2
回答
使用
Kafka
将数据导入Hadoop
hadoop
、
flume
、
apache-kafka
首先,我在考虑如何将事件放入Hadoop,并对事件进行定期分析(可能会
使用
Ooozie来安排定期分析)
Kafka
或
Flume
,并决定
Kafka
可能是一个更好的解决方案,因为我们也有一个组件进行事件处理我发现
可以
把水槽和卡夫卡结合
使用
如
浏览 1
提问于2014-11-04
得票数 6
回答已采纳
1
回答
如何在
Flume
中解析数据
parsing
、
apache-kafka
、
flume
我正在尝试解析来自
Flume
/
Kafka
的数据。我已经将
Flume
.conf文件配置为指向
Kafka
。我
可以
将一个数据文件从
Flume
传递给
Kafka
。我想知道如何解析数据以从数据文件中提取一些字段,无论是
Flume
还是
Kafka
。有什么建议
吗
?谢谢
浏览 0
提问于2015-11-08
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
功分器可以单独使用吗?
Flume-Kafka-SparkStreaming实战1
【004】-Flume Source之Kafka
带你看懂大数据采集引擎之Flume&amp;采集目录中的日志
分布式消息队列Kafka学习笔记
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券