使用flume - advice获取流数据 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

使用flume - advice获取流数据

flume、hortonworks-data-platform

我需要从网站()实时获取数据，并将数据存储到HDFS (我使用hortonworks)。我阅读了不同的技术来做到这一点，我找到了一个名为Flume的工具(包含在hortonworks中)。Flume对我的情况有帮助吗？或者你有其他的技术？西蒙！

浏览 30提问于2018-01-30得票数 0

3回答

使用SQOOP和FLUME将数据从RDBMS移动到Hadoop

hadoop、sqoop、flume

我正在学习Hadoop，在将数据从关系数据库移动到Hadoop以及从关系数据库移动到Hadoop的过程中，我只掌握了几个概念。我已经使用SQOOP import查询将文件从MySQL传输到HDFS。我传输的文件是结构化数据集，而不是任何服务器日志数据。我最近读到我们通常使用flume将日志文件移动到Hadoop中，我的问题是: 1.我们是否也可以使用SQOOP来移动日志文件?2.如果可以，对于日志文件，SQOOP和FLUME<

浏览 1提问于2014-03-18得票数 2

1回答

Flume-twitter流API

hadoop-streaming、flume、flume-ng、flume-twitter

我是新的水槽，我已经使用水槽从twitter的数据流使用搜索API。但是twitter json将"geo“键设置为null。那么，是否有一种方法可以使用Flume中的流API获取twitter数据呢？

浏览 1提问于2015-04-14得票数 0

2回答

使用flume将数据存储在linux本地目录中

hadoop、hdfs、flume

是否可以使用flume从oracle获取数据，并将其存储在Linux本地文件夹中，而不是hdfs中？

浏览 0提问于2013-07-18得票数 0

回答已采纳

1回答

通知bean中的Spring集成"onSuccessExpression“语法

java、spring、spring-integration

我有一个Spring Integration流的配置类，它在流的末尾有一个文件输出通道适配器。我使用ConsumerEndpointSpec.advice()在文件复制完成后发出通知。advice = new ExpressionEvaluatingRequestHandlerAdvice(); advice.setFailureChannel(fileCopy

浏览 9提问于2017-01-14得票数 1

回答已采纳

3回答

火花流无法读取从hdfs中的水槽中创建的文件

hadoop、apache-spark、hdfs、spark-streaming、flume-ng

我创建了一个实时应用程序，在这个应用程序中，我使用flume从weblog中将数据流写入hdfs，然后使用火花流处理该数据。但是，尽管flume正在hdfs中编写和创建新文件，但spark流无法处理这些文件。如果我使用put命令将这些文件放到hdfs目录中，火花流就能够读取和处理这些文件。

浏览 9提问于2015-06-09得票数 2

回答已采纳

2回答

Sqoop和水槽的澄清

hadoop、sqoop、flume、bigdata

我对大数据非常陌生，我对Sqoop和Flume几乎没有什么混淆。我的困惑是因为我所看到的大数据体系结构(我没有虚拟副本)，分组结构化数据，它由Sqoop传输，非结构化流由Flume传输。高频数据呢？Flume是否支持非结构化<em

浏览 4提问于2016-05-31得票数 0

回答已采纳

1回答

如何过滤并将流数据从apache转换为rdd/data，使用spark将其写入表

apache-spark、apache-spark-sql、spark-streaming、flume

嗨，我是水槽/火花/火花流的新手。我已经配置了水槽和netcat，并成功地将数据流到Spark。我的要求是从日志文件中检查流数据(流流)中的错误，并获取错误行(流中的单词" Error“)，并将其作为DF写入oracle。import org.apache.spark.streaming.flume.FlumeUtils import org.slf4j.LoggerFacto

浏览 0提问于2018-10-19得票数 0

回答已采纳

2回答

有没有办法在没有Flume的情况下使用Spark将Kafka中的流数据加载到HDFS中？

apache-spark、apache-kafka、hdfs、flume

我在寻找是否有一种方法可以使用spark streaming而不使用Flume将流数据从Kafka直接加载到HDFS中。我已经用Flume(Kafka源和HDFS接收器)试过了。提前感谢！

浏览 0提问于2017-10-19得票数 0

1回答

Flume代理: flume代理如何从位于不同物理服务器的gets服务器获取数据

flume、flume-ng

我正在尝试理解Flume，并参考flume在flume.apache.org的官方页面特别是，在提到时，我对此感到有点困惑。我们是否需要在实际的we服务器上运行flume代理，或者我们是否可以在不同的物理服务器上运行flume代理并从we服务器获取数据？如果上面是正确的，那么flume agent是如何从then服务器日志中获取数据的？webserver如何使其数据可供flume

浏览 1提问于2018-04-09得票数 0

1回答

Flume+Spark -在HDFS中存储DStream

apache-spark、spark-streaming、flume

我有水槽流，我想把它存储在HDFS通过火花。)}[root@sandbox ~]# hadoop fs -cat /user/root/spark/flume_Maporg.apache.spark.streaming.flume.SparkFlumeEvent@f9ed85f!!!!org.apache.spark.streaming.flume.SparkFlumeEve

浏览 3提问于2016-04-01得票数 2

回答已采纳

1回答

Apache和Flume可以互换使用吗？

hadoop、bigdata、sqoop、flume

我对大数据很陌生。从的一些答案中，Flume和Sqoop都可以从源中提取数据并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里？两者都可以用于相同的任务吗？

浏览 6提问于2014-11-27得票数 3

回答已采纳

1回答

如何使用HTTP源设置Apache Flume并使用File_Roll接收器将数据保存在本地

flume、flume-ng

这个问题的目标是如何创建一个Apache Flume设置，在其中我们将从HTTP Flume Source获取数据，并使用File-Roll Flume Sink保存该数据。在这里，我们从用户那里获取了输入数据。收到用户的数据后，我们将该数据保存到一个文本文件中。

浏览 50提问于2021-06-25得票数 0

1回答

水槽推特流

java、hadoop、twitter4j、flume、flume-twitter

我正在尝试执行flume来从twitter流中获取数据，但是在执行flume时收到了此错误。错误- org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:253)无法启动EventDrivenSourceRunner：{ source:com.cloudera.flume.source.TwitterSource{name:Twitter，状

浏览 2提问于2018-10-31得票数 0

回答已采纳

1回答

如何将流日志数据追加到Flume中的hdfs文件中？有没有人有将数据追加到hdfs文件中的MR源代码

streaming、hdfs、flume

我需要使用Flume将流数据附加到hdfs中。在不覆盖现有日志文件的情况下，我需要将流数据附加到hdfs中的现有文件中。您可以提供相同的MR代码的链接。

浏览 3提问于2016-11-21得票数 0

3回答

向hawq插入流数据

hadoop、hdfs、hawq、nosql

如何将流数据插入hawq并对在线数据执行查询。我测试了jdbc插入，性能非常差。之后，我用flume测试了向hdfs写入数据，并在hawq中创建了外部表，但是hawq在flume关闭文件之前无法读取数据。第三种解决方案是hbase，但是由于我的大多数查询都是聚集在许多数据上的，所以hbase不是一个很好的解决方案(hbase很适合获取单个数据)。那么，有了这些约束，用hawq在线查询流式数据的

浏览 8提问于2016-08-17得票数 0

回答已采纳

1回答

Apache Flume与Apache Flink差异

flume、apache-flink、flume-ng、flink-streaming

我需要从某个源读取数据流(在我的例子中它是UDP流，但这并不重要)，转换每个记录并将其写入HDFS。但是我是新来的弗林克，所以对我来说，弗林克也会这么做。求你了救命！

浏览 0提问于2016-10-04得票数 11

1回答

Cloudera的Flume* vs Facebook的Scribe*

logging、flume、scribe-server

我需要设置一个框架来移动数据。基本上，我们有以文本文件形式传入的点击流数据。这些数据需要在归档后从应用程序服务器移动到HDFS，然后再移动到S3。我需要帮助在Flume和Scribe之间做出选择。

浏览 0提问于2011-09-25得票数 2

回答已采纳

3回答

使用apache spark流进行实时日志处理

apache-spark、apache-kafka、flume、spark-streaming

我想创建一个可以实时读取日志的系统，并使用apache spark对其进行处理。我很困惑是应该使用kafka或flume之类的东西来传递日志到spark stream，还是应该使用套接字来传递日志。

浏览 2提问于2015-02-22得票数 9

回答已采纳

1回答

将数据从hdfs写入运动流

amazon-web-services、hadoop、apache-spark、amazon-kinesis

我需要将hdfs中的数据写入到kinesis流中，以便进一步计算。有人可以指导我如何将数据从hdfs放到kinesis流中吗？例如，我在hdfs上有拼图格式的数据。我现在想把数据放到动态流中。

浏览 2提问于2017-09-23得票数 0

点击加载更多