到mysql的Flume流

文章/答案/技术大牛

发布

1回答

mysql、flume、flume-ng

我一直在尝试使用APACHE KAFKA和FLUME将数据流式传输到MySQL数据库。(这是我的flume配置文件)agent.channels=channel1agent.channels.channel1.brokerList=localhost:9092 agen

浏览 14提问于2017-02-20得票数 1

回答已采纳

1回答

Apache和Flume可以互换使用吗？

hadoop、bigdata、sqoop、flume

从的一些答案中，Flume和Sqoop都可以从源中提取数据并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里？两者都可以用于相同的任务吗？

浏览 6提问于2014-11-27得票数 3

回答已采纳

5回答

将数据从MySQL迁移到Hadoop的Flume

hadoop、hbase、flume

请分享你的想法。应该实时或接近实时地迁移数据。flume可以支持这一点。还有什么是更好的方法。

浏览 2提问于2012-05-11得票数 2

回答已采纳

5回答

将系统服务日志重定向到文件

linux、ubuntu

我试图在Ubuntu16.04上作为systemd服务运行flume，并在/etc/systemd/system/flume-ng.service中使用以下内容Description=ApacheFlume ExecStart=/usr/bin/nohup /opt/flume/current/bin/flume-ng agent -c /

浏览 0提问于2016-11-07得票数 47

回答已采纳

1回答

将数据从hdfs写入运动流

amazon-web-services、hadoop、apache-spark、amazon-kinesis

我需要将hdfs中的数据写入到kinesis流中，以便进一步计算。有人可以指导我如何将数据从hdfs放到kinesis流中吗？例如，我在hdfs上有拼图格式的数据。我现在想把数据放到动态流中。我怎样才能控制运动中允许的极限。谢谢。

浏览 2提问于2017-09-23得票数 0

1回答

分离槽流

logging、flume

我有两个不同的日志流，我想在flume中创建。这些流包含不同的日志消息，最好将它们分开处理。| ------+a0和a1是创建日志的源。dst是日志条目应该记录到的目的地(到HDFS)。配置[flume localhost:35873:45678] getmappings Master has the following mappings

浏览 0提问于2012-03-13得票数 0

回答已采纳

1回答

如何在HDFS中存储Tweets？

twitter、hadoop、hdfs、sqoop、flume

如何在HDFS中存储特定的网站tweet？水槽和sqoop也有助于存储数据。所以，请给我建议一下，在HDFS中存储tweet时，水槽和sqoop是如何工作的？

浏览 4提问于2013-09-19得票数 1

1回答

Flume+Spark -在HDFS中存储DStream

apache-spark、spark-streaming、flume

我有水槽流，我想把它存储在HDFS通过火花。下面是我正在运行的火花代码 def main(args: Array[String]) { System.err.println)}[root@sandbox ~]# hadoop fs -cat /user/root/spark/flume</e

浏览 3提问于2016-04-01得票数 2

回答已采纳

3回答

使用SQOOP和FLUME将数据从RDBMS移动到Hadoop

hadoop、sqoop、flume

我正在学习Hadoop，在将数据从关系数据库移动到Hadoop以及从关系数据库移动到Hadoop的过程中，我只掌握了几个概念。我已经使用SQOOP import查询将文件从MySQL传输到HDFS。我传输的文件是结构化数据集，而不是任何服务器日志数据。我最近读到我们通常使用flume将日志文件移动到Hadoop中，我的问题是: 1.我们是否也可以使用SQOOP来移动日志文件?2.如果可以，对于日志文件，SQOOP和FLUME中的哪一个更可取?为什么？

浏览 1提问于2014-03-18得票数 2

1回答

水槽和sqoop限制

performance、sqoop、flume

我在不同的机器上有一兆字节的数据文件，我想在集中的机器上收集它，以便进行一些处理，是否应该使用水槽？ RDBMS中有同样数量的数据，我想把它放在hdfs中，是否应该使用sqoop来处理更多的数据呢？如果不是的话，还有什么可替代的

浏览 1提问于2014-12-05得票数 1

回答已采纳

2回答

天鹅座开始停止

fiware、fiware-cygnus

com.telefonica.iot.cygnus.nodes.CygnusApplication.main(CygnusApplication.java:235)启动一个侦听端口8081 (管理接口)的Jetty:1016)处理:mysql-接收器2015-05-20 18:51:59,621 (co

浏览 3提问于2015-05-19得票数 2

回答已采纳

3回答

火花流无法读取从hdfs中的水槽中创建的文件

hadoop、apache-spark、hdfs、spark-streaming、flume-ng

我创建了一个实时应用程序，在这个应用程序中，我使用flume从weblog中将数据流写入hdfs，然后使用火花流处理该数据。但是，尽管flume正在hdfs中编写和创建新文件，但spark流无法处理这些文件。如果我使用put命令将这些文件放到hdfs目录中，火花流就能够读取和处理这些文件。在同样的问题上有任何帮助都是很好的。

浏览 9提问于2015-06-09得票数 2

回答已采纳

2回答

Sqoop和水槽的澄清

hadoop、sqoop、flume、bigdata

我对大数据非常陌生，我对Sqoop和Flume几乎没有什么混淆。高频数据呢？Flume是否支持非结

浏览 4提问于2016-05-31得票数 0

回答已采纳

2回答

使用flume将数据存储在linux本地目录中

hadoop、hdfs、flume

是否可以使用flume从oracle获取数据，并将其存储在Linux本地文件夹中，而不是hdfs中？

浏览 0提问于2013-07-18得票数 0

回答已采纳

2回答

无法使用MySQL代理运行Cygnus

fiware、fiware-cygnus

/conf/”文件夹中创建名为“agent_mysql.conf”的新文件。cygnus-ngsi.sources.http-source.channels = mysql-channel# a valid user in the MySQL server cygnus-ngsi.sinks.mysql</e

浏览 2提问于2018-04-30得票数 4

3回答

使用apache spark流进行实时日志处理

apache-spark、apache-kafka、flume、spark-streaming

我想创建一个可以实时读取日志的系统，并使用apache spark对其进行处理。我很困惑是应该使用kafka或flume之类的东西来传递日志到spark stream，还是应该使用套接字来传递日志。我已经看过spark streaming文档中的一个示例程序-- 。但如果有人能指导我更好地将日志传递到spark stream，我将不胜感激。这对我来说是一块新的领地。

浏览 2提问于2015-02-22得票数 9

回答已采纳

3回答

使用spark streaming从数据库读取流

java、mysql、apache-spark、spark-streaming、spark-dataframe

我想使用火花流来读取像mysql这样的RDBMS数据库中的数据。

浏览 2提问于2016-06-02得票数 3

2回答

集成Kafka和HBase的最佳实践

apache-spark、hbase、apache-kafka、apache-storm、flume

将Kafka中的流数据“导入”到HBase中的最佳实践是什么？使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm --> HBase、Kafka --> Spark Streaming --> HBase、Kafka--> HB

浏览 1提问于2015-08-18得票数 6

1回答

使用Flume下载twitter数据

twitter、flume、tweets

每当我使用flume下载tweet时，所有下载的tweet都是在查询运行后发布的tweet。有没有办法在运行查询之前下载已经发布的推文？？例如，如果我在上午9点运行一个查询，那么在上午9点之后创建的tweet将只是downloaded.How，我可以下载在上午9点之前创建的tweet吗？

浏览 1提问于2016-02-10得票数 0

1回答

为什么天鹅座不能在我的CentOS 6.7上订阅？

fiware、fiware-orion、fiware-cygnus

我刚刚在我的虚拟机环境中完成了整个测试，现在我正试图在专用服务器上启动它。现在我遇到了一个全新的问题。考虑到我的agent_1.conf，这是很奇怪的：#POLLING_INTERVAL=30 这是/usr/cygnus/conf

浏览 4提问于2015-12-17得票数 1

回答已采纳

点击加载更多