腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
将
数据
从
MySQL
迁移到Hadoop的
Flume
hadoop
、
hbase
、
flume
要求是将Hadoop中的
数据
迁移到
MySQL
/HBase进行分析。还有什么是更好的方法。
浏览 2
提问于2012-05-11
得票数 2
回答已采纳
1
回答
Apache和
Flume
可以互换使用吗?
hadoop
、
bigdata
、
sqoop
、
flume
我对大
数据
很陌生。从的一些答案中,
Flume
和Sqoop都可以从源中提取
数据
并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里?两者都可以用于相同的任务吗?
浏览 6
提问于2014-11-27
得票数 3
回答已采纳
1
回答
到
mysql
的
Flume
流
mysql
、
flume
、
flume-ng
我一直在尝试使用APACHE KAFKA和
FLUME
将
数据
流式传输到
MySQL
数据
库。(这是我的
flume
配置文件)agent.channels=channel1agent.channels.channel1.brokerList=localhost:
浏览 14
提问于2017-02-20
得票数 1
回答已采纳
2
回答
天鹅座开始停止
fiware
、
fiware-cygnus
+ exec /usr/bin/java -Xmx20m -cp '/etc/
flume
/apache-
flume
-1.4.0-bin/conf:/etc/
flume
/apache-
flume
-1.4.0cygnusagent.sinks.
mysql
-sink.
mysql
_host = 127.0.0.1 cygnusagent.sinks.
mysql
-sink
浏览 3
提问于2015-05-19
得票数 2
回答已采纳
1
回答
如何使用水槽将
同步
文件复制到HDFS?
hadoop
、
hdfs
、
flume
我有一个目录树,其中包含两个目录和
同步
文件:home/dirMaster/file2.txt基于文件名file1-slve.txt有对应于file1.txt的记录
flume
将不保留我的文件名,因此我失去了<e
浏览 1
提问于2015-09-02
得票数 0
1
回答
如何从现有web应用程序访问HDFS(Hadoop文件系统
java
、
web
、
hadoop
、
hdfs
、
bigdata
我已经在我的集群上安装了hadoop 1.0.4,包括1个主服务器和3个从服务器,现在我想通过我的web应用程序访问我的HDFS文件系统,以存储和访问现有web应用程序的
数据
。因为我的web应用程序当前使用
MySQL
作为
数据
库,所以我希望将其替换为HDFS。请提个
浏览 0
提问于2013-03-23
得票数 1
回答已采纳
1
回答
Fi-Ware Bigdata配置
fiware-orion
、
fiware
、
fiware-cygnus
我在教程中找到了下一段如果您没有将这些包包含在Cygnus包中,则需要在APACHE_
FLUME
_HOME/plugins.d/cygnus/libext下安装以下软件包:OrionHDFSSink dependencieshive-service-0.12.0.jar hive-common-0.12.0.jar
浏览 3
提问于2014-06-13
得票数 2
回答已采纳
2
回答
无法使用
MySQL
代理运行Cygnus
fiware
、
fiware-cygnus
cygnus-ngsi.sources.http-source.channels =
mysql
-channel# the FQDN/IP address where the
MySQL
server runs cygnus-ngsi.sinks.
mysql
-si
浏览 2
提问于2018-04-30
得票数 4
1
回答
为什么天鹅座不能在我的CentOS 6.7上订阅?
fiware
、
fiware-orion
、
fiware-cygnus
然后,我确认我在contextBroker上有
数据
,因为这个命令给了我一个适当的响应:17 Dec 2015:171) - Stopping component: org.apache.
flu
浏览 4
提问于2015-12-17
得票数 1
回答已采纳
1
回答
将蜂窝
数据
从一个Hadoop集群移动到另一个Hadoop集群,而不使用distcp命令?
hadoop
如何不用distcp命令将
数据
从一个Hadoop集群移动到另一个Hadoop集群。因为我们不能用这个。我们还有其他选择像Sqoop或
Flume
吗?
浏览 2
提问于2015-10-13
得票数 0
2
回答
如何使用
flume
从
mysql
中读取
数据
?
mysql
、
hadoop
、
hbase
、
flume
如何使用
flume
从
mysql
连续读取
数据
加载到hbase? 我熟悉sqoop,但我需要从
mysql
源码中不断地使用它。是否需要自定义源才能做到这一点?
浏览 3
提问于2012-10-02
得票数 3
1
回答
水槽火花流入
Mysql
数据
库
mysql
、
apache-spark
、
flume
我有Single节点,我将使用Apache
Flume
->
Mysql
将
数据
流到
mysql
中,我使用了->方法,但是
数据
插入速度越来越慢,并且在Spark中有一个队列。是否有任何改进此
数据
插入的建议。我需要每秒处理3000行。
浏览 6
提问于2021-04-16
得票数 0
5
回答
如何安装和配置apache
flume
?
flume
我是Apache
Flume
的新手。我需要在HDFS集群环境上安装
flume
。我用谷歌搜索了一下,所有人都说使用cloudera发行版,但我需要从源代码安装和配置。
浏览 2
提问于2013-01-05
得票数 9
1
回答
Kafka -
Flume
- Oracle
数据
库-读取字段'throttle_time_ms‘时出错
apache-kafka
、
flume
kafka - 2.10-0.8.2.2
flume
- 1.7.0 zookeeper - 3.4.6(kafka-producer-network-threadorg.apache.kafka.clients.producer.internals.Sender.run(Sender.java:128)以下是我的
Flume
浏览 2
提问于2017-04-25
得票数 0
1
回答
我的Cygnus代理不创建
MySQL
数据
库
mysql
、
fiware
、
fiware-cygnus
= memorycygnus-ngsi.channels.
mysql
-channel.transactionCapacity= 100 cygnus-ngsi.sinks.
mysql
-sink.
mysql
_host = localhostcygnus-ngsi.sinks.
mysq
浏览 2
提问于2017-11-17
得票数 2
1
回答
将
数据
从网站加载到hdfs
hadoop
我需要上传
数据
,这是存在于一个网络链接,比如说,一个“博客”到hdfs。现在,我正在研究实现该功能的选项,可以找到以下链接: 但是,通过阅读
flume
docs,我不清楚如何设置
flume
源代码来指向博客内容所在的网站。根据我对fluem文档的理解,需要有一个webserver,我需要在其中部署一个应用程序,然后生成weblog,然后通过
flume
将其传输到hdfs。但是我不想要web服务器日志,实际上我正在寻找博客内容(,即所有的
数据
+博客上的评论,如果有的话),这是一个非结构化的
数据</em
浏览 3
提问于2013-04-11
得票数 1
3
回答
使用SQOOP和
FLUME
将
数据
从RDBMS移动到Hadoop
hadoop
、
sqoop
、
flume
我正在学习Hadoop,在将
数据
从关系
数据
库移动到Hadoop以及从关系
数据
库移动到Hadoop的过程中,我只掌握了几个概念。我已经使用SQOOP import查询将文件从
MySQL
传输到HDFS。我传输的文件是结构化
数据
集,而不是任何服务器日志
数据
。我最近读到我们通常使用
flume
将日志文件移动到Hadoop中,我的问题是: 1.我们是否也可以使用SQOOP来移动日志文件?2.如果可以,对于日志文件,SQOOP和
FLUME
中的哪一个更可取?为什么?
浏览 1
提问于2014-03-18
得票数 2
1
回答
使用
flume
- advice获取流
数据
flume
、
hortonworks-data-platform
我需要从网站()实时获取
数据
,并将
数据
存储到HDFS (我使用hortonworks)。我阅读了不同的技术来做到这一点,我找到了一个名为
Flume
的工具(包含在hortonworks中)。
Flume
对我的情况有帮助吗?或者你有其他的技术?西蒙!
浏览 30
提问于2018-01-30
得票数 0
5
回答
将系统服务日志重定向到文件
linux
、
ubuntu
我试图在Ubuntu16.04上作为systemd服务运行
flume
,并在/etc/systemd/system/
flume
-ng.service中使用以下内容Description=Apache
Flume
ExecStart=/usr/bin/nohup /opt/
flume
/current/bin/
flume
-ng agent -c /
浏览 0
提问于2016-11-07
得票数 47
回答已采纳
1
回答
使用Fiware Cygnus和
mysql
接收器,没有创建任何
数据
库。
fiware
、
fiware-cygnus
我将cygnusagent配置为使用
mySQL
接收器如下所示,并使用教程1中的notifcation对其进行测试,但是
数据
库中没有任何更改,也没有创建新的
数据
库。cygnusagent.sources.http-source.type = org.apache.
flume
.source.http.HTTPSource# listening port the
Flume
source will use
浏览 2
提问于2015-07-16
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Mysql数据实时同步实践
MySQL 数据实时同步实践
NIFI1.21.0_Mysql到Mysql增量CDC同步_日期_以及null数据同步处理
mysql多台服务器数据同步
Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券