1回答
Apache和Flume可以互换使用吗？
hadoop、bigdata、sqoop、flume
从的一些答案中，Flume和Sqoop都可以从源中提取数据并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里？两者都可以用于相同的任务吗？
浏览 6提问于2014-11-27得票数 3
回答已采纳
5回答
将数据从MySQL迁移到Hadoop的Flume
hadoop、hbase、flume
要求是将Hadoop中的数据迁移到MySQL /HBase进行分析。还有什么是更好的方法。
浏览 2提问于2012-05-11得票数 2
回答已采纳
2回答
如何使用flume从mysql中读取数据？
mysql、hadoop、hbase、flume
如何使用flume从mysql连续读取数据加载到hbase？
我熟悉sqoop，但我需要从mysql源码中不断地使用它。是否需要自定义源才能做到这一点？
浏览 3提问于2012-10-02得票数 3
1回答
到mysql的Flume流
mysql、flume、flume-ng
我一直在尝试使用APACHE KAFKA和FLUME将数据流式传输到MySQL数据库。(这是我的flume配置文件)agent.channels=channel1agent.channels.channel1.brokerList=localhost:9092
agen
浏览 14提问于2017-02-20得票数 1
回答已采纳
2回答
天鹅座开始停止
fiware、fiware-cygnus
+ exec /usr/bin/java -Xmx20m -cp '/etc/flume/apache-flume-1.4.0-bin/conf:/etc/flume/apache-flume-1.4.0cygnusagent.sinks.mysql-sink.mysql_host = 127.0.0.1
cygnusagent.sinks.mysql-sink
浏览 3提问于2015-05-19得票数 2
回答已采纳
1回答
增加水槽MaxHeap
flume、flume-ng
下午好，我在增加Flume的堆大小时遇到了问题。结果，我得到了：我增加了"flume-env.sh“和Hadoop在启动flume时，需要注意的一件事是Exec (processbuilder?)似乎将堆定义为20Mb。对如何覆盖它有什么想法吗？via () for Hive access
+ exec /usr/lib/jvm/
浏览 25提问于2019-07-12得票数 0
1回答
flume1.6假脱机源只摄取文件的一部分
java、flume
当我检查flume.log时，它说已经到达文件的末尾，并将.COMPLETED添加到原始日志文件中。#agent定义log_agent.sources = spooldirSrc log_agent.channels = fileChannellog_agent.sources.spooldirSrc.type = spooldir log_agent.sources# kafkaSink definition
浏览 2提问于2016-05-10得票数 1
回答已采纳
1回答
阅读facebook页面/feed/post
facebook、hadoop、flume、bigdata
有人知道如何使用水槽来读取Facebook页面上的数据吗？实际上，我希望有一个flume代理来读取特定的Facebook页面，并提取所有信息，如post/feed，并将数据推送到Hadoop数据库中。
浏览 0提问于2016-08-09得票数 1
2回答
无法使用MySQL代理运行Cygnus
fiware、fiware-cygnus
cygnus-ngsi.sources.http-source.channels = mysql-channel# the FQDN/IP address where the MySQL server runs
cygnus-ngsi.sinks.mysql-si
浏览 2提问于2018-04-30得票数 4
3回答
使用SQOOP和FLUME将数据从RDBMS移动到Hadoop
hadoop、sqoop、flume
我正在学习Hadoop，在将数据从关系数据库移动到Hadoop以及从关系数据库移动到Hadoop的过程中，我只掌握了几个概念。我已经使用SQOOP import查询将文件从MySQL传输到HDFS。我最近读到我们通常使用flume将日志文件移动到Hadoop中，我的问题是: 1.我们是否也可以使用SQOOP来移动日志文件? 2.如果可以，对于日志文件，SQOOP和FLUME中的哪一个更可取?
浏览 1提问于2014-03-18得票数 2
1回答
如何从源文件中获取源文件名到flume中的HDFS中？如何从Flume中读取整个文件？
如何在Flume中读取csv文件？
浏览 1提问于2015-07-17得票数 1
1回答
为什么天鹅座不能在我的CentOS 6.7上订阅？
fiware、fiware-orion、fiware-cygnus
-0] (org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty:1016) - Processing:mysql-sink-0] (org.apache.flume.node.Application.startAllComponents:173) - Starting Sink mysql-sink
17 Dec 2015:171) - Stopping component: org.apache.flume.
浏览 4提问于2015-12-17得票数 1
回答已采纳
1回答
在数据科学家衰老和死亡之前，真正的大数据是如何导入HDFS的？
java、hadoop、hdfs、bigdata
假设我有500 of的数据存储在各种系统(关系数据库管理系统、NoSQL、日志数据等等)中。我的理解是，如果我想编写MR jobs来查询和分析这些数据，我需要首先将其导入HDFS中。
浏览 0提问于2015-06-26得票数 0
回答已采纳
1回答
Apache Flume POC问题
logging、log4j、flume
目前，我正在开发一个POC，通过Apache Flume容器和flume-ng-log4jappender客户端从我们的web应用程序服务器收集日志。告诉我在JDK 1.5环境下是否有客户端java程序可以向Flume提交消息。感谢您的快速回复。
浏览 3提问于2013-06-05得票数 0
回答已采纳
2回答
Flume:通过API将文件发送到HDFS
hadoop、cloud、flume
我是Apache Flume-ng的新手。我希望将文件从客户端代理发送到服务器代理，后者最终会将文件写入HDFS。我见过了。这是到目前为止我发现的最好的一个。但是它是通过脚本实现的，而不是通过API。我想通过Flume API来实现。请在这方面帮助我。告诉我步骤，如何启动和组织代码。
浏览 0提问于2013-10-03得票数 1
1回答
何时Flume内存通道不可恢复，原因是什么？
apache-kafka、flume、channel
我搞不懂为什么Flume数据在使用文件通道时是可恢复的，而在使用内存通道时是不可恢复的。
我尝试了Kafka接收器，当我在阅读时放下Flume时，Kafka正确地读取了通道中的数据(文件)。重新启动Flume后，管道将继续以可靠的方式传送数据。那么为什么内存通道是不可恢复的呢？在这种情况下，我需要恢复通道中的数据？，特别是当Flume开始从保存的偏移量读取文件时。
浏览 0提问于2017-08-03得票数 0
2回答
用于水槽接收器文件的Hadoop Streaming MapReduce - FileNotFoundException
hadoop、filenotfoundexception、flume、tmp
Flume将文件名从xxx.tmp更改为xxx.，MR任务找不到该文件(MR正在尝试读取xxx.tmp)并抛出错误。
我不知道怎样才能避开FileNotFoundException。
浏览 2提问于2013-10-25得票数 2
3回答
如何将Flume的Avro事件反序列化到Spark？
scala、apache-spark、flume、flume-ng、spark-streaming
我有Flume Avro接收器和读取接收器的SparkStreaming程序。CDH 5.1、Flume 1.5.0、Spark 1.0，使用Scala作为Spark上的程序语言有没有人有一个使用Scala的例子？
浏览 0提问于2014-08-25得票数 0
1回答
水槽-无法配置接收器-没有为接收器配置的通道
hadoop、flume-ng
我已经配置了flume来读取日志文件并写入HDFS。当我启动水槽时，会读取日志文件，但它不会写入HDFS。flume.log有警告消息- could not configure sink - no channel configured for sink，但我已经在conf-文件中分配了一个接收通道。# Describe source.agent1.sources.source1.spoolDir =/Suriya/f
浏览 3提问于2015-08-04得票数 1
回答已采纳
1回答
使用使用R的正则表达式从字符串中提取所需文本
r、regex
我正在读取data.csv文件的列，并试图在使用正则表达式从列中的字符串中提取上一次正斜杠之前提取所需的文本。我的列数据如下：org/apache/flume/file/Channel/testing/test2.java
org/apache/flume/recover
浏览 1提问于2016-11-27得票数 0
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号