腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何使用Apache
FLUME
将
数据
写入
HA Hadoop QJM?
hadoop
、
hdfs
、
flume
、
high-availability
flume
将如何识别活动namenode,以便将
数据
写入
HDFS?如果没有High Availability Hadoop,我们将在
flume
.conf中配置namenode,这样
数据
就可以轻松地定向
到
HDFS。而在我们的例子中,
Flume
应该识别活动和备用名称节点,因此
数据
应该被定向
到
活动名称节点。
浏览 2
提问于2015-05-12
得票数 2
5
回答
将
数据
从
MySQL
迁移到Hadoop的
Flume
hadoop
、
hbase
、
flume
要求是将Hadoop中的
数据
迁移到
MySQL
/HBase进行分析。还有什么是更好的方法。
浏览 2
提问于2012-05-11
得票数 2
回答已采纳
1
回答
向Kafka推送PubMed
数据
python
、
ftp
、
apache-kafka
、
pubmed
、
kafka-python
在PubMed
数据
源中,我需要将输出推送到可以被视为卡夫卡主题的Kafka queue..Each源中。(我知道Kafka中的概念,并使用Python探索了Kafka )有没有人能帮助我们继续前进?
浏览 0
提问于2015-10-07
得票数 0
1
回答
Apache和
Flume
可以互换使用吗?
hadoop
、
bigdata
、
sqoop
、
flume
我对大
数据
很陌生。从的一些答案中,
Flume
和Sqoop都可以从源中提取
数据
并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里?两者都可以用于相同的任务吗?
浏览 6
提问于2014-11-27
得票数 3
回答已采纳
1
回答
以编程方式将文件
写入
HDFS
hdfs
、
flume
我正在寻找Java程序中的选项,这些选项可以将文件
写入
HDFS,并满足以下要求。我知道如何通过打开显示为的FSDataOutputStream将
数据
写入
到
HDFS上的文件中。我偶然发现了
Flume
,它提供了HDFS接收器,可以支持事务、压缩、文件轮换等。但它似乎没有提供一个
浏览 1
提问于2013-04-30
得票数 1
1
回答
Flume
代理:
flume
代理如何从位于不同物理服务器的gets服务器获取
数据
flume
、
flume-ng
我正在尝试理解
Flume
,并参考
flume
在
flume
.apache.org的官方页面有人能帮助理解这一点吗?
浏览 1
提问于2018-04-09
得票数 0
1
回答
对Apache
Flume
HDFS接收器文件
写入
有什么保证?
apache
、
hadoop
、
hdfs
、
flume
有人能解释一下如果
Flume
代理在HDFS文件
写入
(比如使用Avro格式)过程中被终止会发生什么吗?文件是否会损坏,其中的所有事件是否都会丢失?我知道
Flume
数据
链的不同元素之间存在事务(源->通道->宿)。但我相信,HDFS文件可能会在连续的通道->接收器事务之间保持打开(作为.tmp)。因此,如果100个事件中的一个事务成功(并且事件存储在文件中,事务已提交),而下一个事务在HDFS
写入
过程中失败,那么可能是来自第一个事务的原始100个事件不可读(例如,因为文件损坏?)。为什么<e
浏览 0
提问于2017-03-30
得票数 0
1
回答
如何确定水槽拓扑方法?
hadoop
、
hive
、
flume
目前,我们已经使用了rsyslog(
写入
tcp端口),php脚本将这些日志
写入
到
rsyslog。我们在每个we服务器上运行一个本地代理,这些本地代理监听tcp端口,并将
数据
直接放入hdfs中。对于上述方法,我不太清楚,我混淆了三种方法: 方法1:每台机器上的Web、RSyslog &
Flume
代理和在hadoop集群中的Namenode上运行的
Flume
收集器,收集
数据
并转储
到
hdfs中。方法2: Web、同一台机器上的RSyslog和一个<
浏览 2
提问于2014-04-03
得票数 3
回答已采纳
2
回答
Flume
java.lang.IllegalStateException:文件在读取后大小已更改
java
、
flume
、
flume-ng
我有一个java应用程序,它从不同的来源收集
数据
,并将输出
写入
特定目录下的文件中。我有一个
flume
代理,配置为使用spooldir源从该目录读取
数据
,并使用MorphlineSolrSink将输出
写入
Solr。sinks.solrSink.morphlineFile = morphlines.conf 我从这个异常中了解
到
的是,
flume
代理开始处理一个文件,而java应用
浏览 2
提问于2015-04-27
得票数 1
1
回答
当客户端关闭连接时,Hadoop如何处理未复制的
数据
?
hadoop
、
hdfs
、
flume
Flume
正在别处运行,正在将
数据
写入
此群集。当群集负载过重时,
flume
-agent将完成
写入
,并尝试在HDFS完成
数据
复制之前关闭文件。关闭失败并重试,但
flume
-agent配置了超时,并且当关闭不能及时完成时,
flume
-agent断开连接。 HDFS如何处理尚未完成复制的文件?我的印象是后台线程可以完成复制,但我在集群中只看到部分
写入
的块。该
数据
块只有一个良好的拷贝,并且仅
写入
了部分副本,
浏览 0
提问于2015-04-30
得票数 1
1
回答
您是否应该为重命名
flume
中的假脱机目录源中的文件提供写权限
flume
、
flume-ng
我有一个
flume
代理,它从假脱机目录源读取
数据
,并在经过一些转换后
写入
hdfs。由于
flume
尝试将已处理的文件重命名为“.COMPLETED”,因此我在spool目录中
写入
时收到权限被拒绝的异常。 我想知道给敏感
数据
写权限会有多安全。
flume
是否有一个解决方案来识别spool目录中已处理的文件
浏览 12
提问于2016-09-06
得票数 0
1
回答
可以单独使用
Flume
Kafka Source吗?
apache-kafka
、
flume
、
flume-ng
假设有一群生产者将avro记录(具有相同的模式)
写入
到
Kafak主题中。 我可以使用
Flume
Kafka Source读取这些记录并将它们
写入
HDFS吗?即使记录不是使用
Flume
Sink发布的?
浏览 21
提问于2019-09-13
得票数 1
回答已采纳
1
回答
边缘水槽还是工作节点?
hadoop
、
flume
对于
数据
摄取,我想使用
flume
,或者将它放在边缘节点上(在集群之外的安全DMZ中),或者放在工作节点上。 每种方法的优点/缺点是什么?
浏览 3
提问于2016-09-20
得票数 0
回答已采纳
2
回答
使用
flume
将
数据
存储在linux本地目录中
hadoop
、
hdfs
、
flume
是否可以使用
flume
从oracle获取
数据
,并将其存储在Linux本地文件夹中,而不是hdfs中?
浏览 0
提问于2013-07-18
得票数 0
回答已采纳
1
回答
Apache
Flume
无法将文件从源复制
到
目标
hadoop
、
flume
、
hortonworks-data-platform
、
flume-ng
、
bigdata
我以根用户身份执行
Flume
agent,希望将保存在位置/root/data-pipeline/input的XML文件复制
到
hdfs中hdfs:///user/root/data_pipeline_demo当我以
flume
-ng agent -c /etc/
flume
/conf -f /etc/
flume
/conf/
flume
.conf
浏览 0
提问于2016-02-15
得票数 0
2
回答
如何将命名管道尾
到
Flume
Windows节点(
Flume
node Service)
c#
、
.net
、
named-pipes
、
tail
、
flume
说我们可以将命名的管道跟踪
到
Flume
,但是这似乎需要cygwin,而且我们不太可能在所有的
Flume
节点上安装cygwin。下面是食谱上的说明: 控制台源非常有用,因为我们可以直接将
数据
输送到水槽中。下一个示例将
数据
从一个程序导入
到
Flume
中,然后由
Flume
来传递
数据
。,您可以将
数据
写入
命名管道,并让
Flume
使用文本或尾从命名管道读取
数据
。但是,您可以将
浏览 4
提问于2011-07-19
得票数 1
回答已采纳
1
回答
Flume
:持久化Source & Sink连接的可能性
flume
、
flume-ng
虽然这违反了
Flume
的基本设计原则,但我有一个问题。这有可能保持源和宿之间的连接并重用吗?
浏览 1
提问于2015-11-18
得票数 2
1
回答
从Mesos集群收集日志
logging
、
apache-spark
、
flume
、
mesos
我找到了,它也是一个日志
数据
收集器,但我不明白如何将它集成
到
Mesos集群中来收集日志(以及Spark)。 我发现“类似”的问题,但解决方案不是开源的或不再支持。
浏览 0
提问于2015-06-26
得票数 1
1
回答
当事件数等于或超过batchSize时,为什么
Flume
-NG HDFS接收器不
写入
文件?
java
、
hadoop
、
hdfs
、
flume
我正在尝试配置
Flume
,使日志每小时滚动一次,或者在日志达到HDFS的默认块大小(64MB)时滚动。imp-agent.sinks.hdfs-imp-sink1.type = hdfsimp-agent.sources = avro-imp-source1我看到
浏览 0
提问于2013-05-15
得票数 4
回答已采纳
4
回答
Flume
和Sqoop有什么不同?
hadoop
、
sqoop
、
flume
Flume
和Sqoop都是用于
数据
移动的,那么它们之间的区别是什么呢?在什么情况下应该使用
Flume
或Sqoop?
浏览 133
提问于2013-10-22
得票数 22
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python写入数据到MySQL
解决写入中文数据到 MySql 时变成?
Python爬虫数据写入mySQL案例
如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS
《从0到1学习Flink》——Flink 写入数据到 Kafka
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券