Apache Flume从python脚本获取数据

文章/答案/技术大牛

发布

1回答

python、pyspark、streaming、flume

我正在运行一个python脚本来收集来自新闻提供者的数据，并在flume.conf文件中获取此脚本。脚本运行良好，我可以看到打印的json数据。但是当我通过flume和沉没数据来触发时，我得到了下面的警告消息。conf-file libexec/conf/test.conf --name Agent -Dflume.root.logger=INFO,console spark-submit --

浏览 6提问于2018-08-04得票数 1

1回答

Flume代理: flume代理如何从位于不同物理服务器的gets服务器获取数据

flume、flume-ng

我正在尝试理解Flume，并参考flume在flume.apache.org的官方页面特别是，在提到时，我对此感到有点困惑。我们是否需要在实际的we服务器上运行flume代理，或者我们是否可以在不同的物理服务器上运行flume代理并从we服务器获取数据？如果上面是正确的，那么flume agent是如何从then服务器日志中获取数据的？webserver如何使其数据</e

浏览 1提问于2018-04-09得票数 0

1回答

如何使用HTTP源设置Apache* Flume并使用File_Roll接收器将数据保存在本地*

flume、flume-ng

这个问题的目标是如何创建一个Apache Flume设置，在其中我们将从HTTP Flume Source获取数据，并使用File-Roll Flume Sink保存该数据。在这里，我们从用户那里获取了输入数据。收到用户的数据后，我们将该数据保存到一个文本文件中。

浏览 50提问于2021-06-25得票数 0

3回答

使用apache* spark流进行实时日志处理*

apache-spark、apache-kafka、flume、spark-streaming

我想创建一个可以实时读取日志的系统，并使用apache spark对其进行处理。我很困惑是应该使用kafka或flume之类的东西来传递日志到spark stream，还是应该使用套接字来传递日志。

浏览 2提问于2015-02-22得票数 9

回答已采纳

1回答

建议的基于Hadoop的设计/组件，用于摄入定期REST调用

rest、hadoop、data-ingestion

我们计划使用REST调用从端点摄取数据，并将数据存储到HDFS。其余的电话是以周期性的方式(每天或每小时)完成的。我已经使用Flume进行了Twitter的吞食，但我认为使用Flume并不适合我当前的用例，因为我没有使用像Twitter中的这种连续的数据消防系统，而是使用离散的、定期的、有时限的调用。

浏览 2提问于2015-11-11得票数 3

回答已采纳

3回答

如何使用Kafka从文件中读取新条目

hadoop、apache-kafka、kafka-producer-api

ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"localhost:9092"); prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.comm

浏览 3提问于2016-05-22得票数 0

1回答

运行flume代理以获取Twitter数据

apache、hadoop、flume、flume-ng、flume-twitter

我一直在尝试在我的windows系统上运行flume代理来获取twitter数据。/conf/flume.conf E:\apache-flume-1.7.0-bin\apache-flume-1.7.0-bin\bin>powershell.exe -NoProfile -InputFormatnone -ExecutionPolicy unrestricted -File E:\apache-f

浏览 25提问于2019-03-19得票数 1

回答已采纳

1回答

使用使用R的正则表达式从字符串中提取所需文本

r、regex

我正在读取data.csv文件的列，并试图在使用正则表达式从列中的字符串中提取上一次正斜杠之前提取所需的文本。我的列数据如下：org/apache/flume/file/Channel/testingorg/apache/flum

浏览 1提问于2016-11-27得票数 0

回答已采纳

1回答

如何分发Apache* Flume 1.4*

apache、flume

我看过Apache Flume 1.4文档，并不清楚如何跨节点分发工作。我必须从多个来源获取数据，并为每个来源提取多个查询条件，并需要定期轮询它们。用于flume-master和Flume -node的旧版本flume。Cloudera发布说明称，这些概念已被代理取代。但是如何分配代理呢？

浏览 1提问于2013-07-30得票数 0

1回答

Flume代理无法传送事件

java、linux、apache、hbase、flume

1个运行在使用内存通道的windows上，另外2个运行在Linux上，使用文件通道从windows代理获取数据并放入Hbase。 at org.apache.flume.sink.AvroSink.process:236)

浏览 5提问于2013-12-23得票数 1

1回答

在将twitter数据获取到hdfs时使用flume时出错

hdfs、flume

在使用FLUME将twitter数据获取到HDFS时，只要更改了twitter4j.jar文件的版本，我就会一次又一次地得到这个错误，请告诉我为什么这个错误是coming.Can --有人建议我在HDFS中获取数据的下一步是什么； (conf-file-poller-0)调试-org.apache.flume.source.DefaultSourceFactory.getClass(DefaultSourceFactory.java:60)源类型org.apa

浏览 3提问于2017-11-01得票数 0

1回答

定期将数据上传到HDFS

hadoop

我正在做一个项目，我将积累实时的数据。我想定期将这些数据从我的本地计算机上传到HDFS。这里的频率将每隔几个小时。我的想法是定期安排一个批处理文件在2小时后运行。

浏览 0提问于2013-08-07得票数 0

1回答

将Flume* twitter流连接到python中火花时出现的UTF-8编码错误*

apache-spark、pyspark、spark-streaming、flume-ng、flume-twitter

在将Flume代理收集的Twitter数据传递给Stream时，我遇到了麻烦。我可以独立下载twits，而只使用水槽。但我会跟着错误走。火花放电终端上的错误： File "/$$anon$1.read(PythonRDD.scala:193) at org.apache.spark.api.python</e

浏览 5提问于2017-01-01得票数 2

回答已采纳

1回答

关卡上的水槽NullPointerExceptions

stream、nullpointerexception、flume

在我的脚本中，我不断地回显“.”>> mytmpfile，这样尾巴命令就构成了一个流。 java.lang。由于org.apache.flume.channel.file.FileChannel.createTransaction(FileChannel.java:353)：null at org.apache.flume.channel.BasicChannelSemantics.getTransaction:183) at org.ap

浏览 2提问于2013-05-11得票数 2

2回答

有人能详细介绍一下Flume* Command吗？*

java、hadoop、flume

谁能告诉我下面的flume命令执行conf文件的详细说明？bin/flume-ng agent --conf-file netcat_flume.conf --name a1据我所知， --conf-file->指定配置文件名或向FLUME提及我们需要运行此文件。

浏览 1提问于2014-07-22得票数 0

4回答

Flume和Sqoop有什么不同？

hadoop、sqoop、flume

Flume和Sqoop都是用于数据移动的，那么它们之间的区别是什么呢？在什么情况下应该使用Flume或Sqoop？

浏览 133提问于2013-10-22得票数 22

回答已采纳

1回答

以编程方式将文件写入HDFS

hdfs、flume

我知道如何通过打开显示为的FSDataOutputStream将数据写入到HDFS上的文件中。我只是想知道是否有一些开箱即用的解决方案库提供了我上面提到的支持。我偶然发现了Flume，它提供了HDFS接收器，可以支持事务、压缩、文件轮换等。但它似乎没有提供一个可以用作库的API。Flume提供的功能与Flume架构组件高度耦合，如源、通道和接收器，似乎不能独立使用。我所需要的仅仅是HDFS加载部分。有没有人有好的建议？

浏览 1提问于2013-04-30得票数 1

1回答

使用火花流从http创建分析

scala、hadoop、apache-spark、spark-streaming

嗨，我的reqmnt是从http://10.3.9.34:9900/messages创建分析，即从http://10.3.9.34:9900/messages中提取数据，并将这些数据放在HDFS /user/cloudera/flume和HDFS报告中，使用Tableau或HUE UI。我在code 5.5的星火壳的scala控制台尝试了下面的代码，但是无法从http链接中获取数据

浏览 4提问于2016-08-03得票数 0

1回答

水槽推特流

java、hadoop、twitter4j、flume、flume-twitter

我正在尝试执行flume来从twitter流中获取数据，但是在执行flume时收到了此错误。错误- org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:253)无法启动(TwitterSource.java:140) at org.apache.flume.source.EventDrivenSource

浏览 2提问于2018-10-31得票数 0

回答已采纳

7回答

错误:无法找到或加载主类org.apache.flume.node.Application -在hadoop1.2.1版上安装flume

hadoop、load、installation、main、flume

我已经构建了一个hadoop集群，其中一个是主从节点，另一个是从节点。现在，我想构建一个flume来获取主机上集群的所有日志。但是，当我尝试从tarball安装flume时，我总是得到:错误:无法找到或加载主类org.apache.flume.node.Application，因此，请帮助我找到答案，或者在我的集群上安装flume

浏览 6提问于2014-06-04得票数 1

点击加载更多