腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6765)
视频
沙龙
5
回答
将数据从
MySQL
迁移到Hadoop的
Flume
、
、
要求是将Hadoop中的数据迁移到
MySQL
/HBase进行分析。还有什么是更好的方法。
浏览 2
提问于2012-05-11
得票数 2
回答已采纳
1
回答
AsyncHBaseSink和HbaseSink之间的差异
、
在
flume
中,我读到Hbase有两个接收器,那么它们(AsyncHBaseSink和HbaseSink)之间的区别是什么,以及何时使用每个接收器?
浏览 1
提问于2016-12-09
得票数 0
1
回答
Flume
在向纱线客户端提交群集作业时无法发送事件。
、
、
、
(我们正在使用
flume
-ng-sql源从水槽中
抽取
100个事件/Sec,每个源的大小约为1KB)。Exception follows. at org.apache.
flume
.sink.AbstractRpcSink.processat org.apache.
flume
.api.NettyAvroRpcClient.configure(NettyAvro
浏览 3
提问于2015-08-14
得票数 1
回答已采纳
2
回答
天鹅座开始停止
、
+ exec /usr/bin/java -Xmx20m -cp '/etc/
flume
/apache-
flume
-1.4.0-bin/conf:/etc/
flume
/apache-
flume
-1.4.0cygnusagent.sinks.
mysql
-sink.
mysql
_host = 127.0.0.1 cygnusagent.sinks.
mysql
-sink
浏览 3
提问于2015-05-19
得票数 2
回答已采纳
2
回答
无法使用
MySQL
代理运行Cygnus
、
cygnus-ngsi.sources.http-source.channels =
mysql
-channel# the FQDN/IP address where the
MySQL
server runs cygnus-ngsi.sinks.
mysql
-si
浏览 2
提问于2018-04-30
得票数 4
1
回答
为什么MapReduce作业未完全加载附加文件?
、
、
、
我有一个水槽,流数据到HDFS接收器(附加到同一个文件),我可以“猫”,并看到它从HDFS。但是,MapReduce作业仅提取刷新的第一批(bacthSize = 100)。其余的没有人拿起,尽管我可以猫和看到其余的。当我在文件回滚(关闭)后执行MapRecue作业时,它会提取所有数据。你知道为什么job先生找不到批次的剩余部分吗?
浏览 1
提问于2015-01-14
得票数 0
0
回答
streamsets如何同步Oracle大字段,以及
增量
更新操作?
、
、
、
、
各位大神,请问下streamsets 关于数据库blob字段如何同步,以及我通过JDBC QUERY对oracle数据库(
抽取
的是很多第三方系统不可能通过开启日志的方式)进行数据
增量
抽取
同步的时候如何分流更新
浏览 243
提问于2021-08-13
1
回答
为什么天鹅座不能在我的CentOS 6.7上订阅?
、
、
-0] (org.apache.
flume
.conf.FlumeConfiguration$AgentConfiguration.addProperty:1016) - Processing:
mysql
-sink-0] (org.apache.
flume
.node.AbstractConfigurationProvider.loadChannels:205) - Created channel
mysql
-channel-0] (org.apache.
flume
.node.Application.st
浏览 4
提问于2015-12-17
得票数 1
回答已采纳
1
回答
Apache和
Flume
可以互换使用吗?
、
、
、
从的一些答案中,
Flume
和Sqoop都可以从源中提取数据并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里?两者都可以用于相同的任务吗?
浏览 6
提问于2014-11-27
得票数 3
回答已采纳
1
回答
我的Cygnus代理不创建
MySQL
数据库
、
、
= memorycygnus-ngsi.channels.
mysql
-channel.transactionCapacity= 100 cygnus-ngsi.sinks.
mysql
-sink.
mysql
_host = localhostcygnus-ngsi.sinks.
mysq
浏览 2
提问于2017-11-17
得票数 2
1
回答
到
mysql
的
Flume
流
、
、
我一直在尝试使用APACHE KAFKA和
FLUME
将数据流式传输到
MySQL
数据库。(这是我的
flume
配置文件)agent.channels=channel1agent.channels.channel1.brokerList=localhost:9092 agent.channel
浏览 14
提问于2017-02-20
得票数 1
回答已采纳
1
回答
Labview数组索引跟踪
、
、
它们都存储在数组中,并且在特定的X阈值下,Y数组将被
抽取
到特定的因子(10,100,1000...)。 然而,我使用这个VI的目标是能够在“块”中
抽取
。换句话说,每1,000点的数据块,以10的倍数对数组进行
抽取
。每10,000点的数据块,以100的因子进行
抽取
。在每个块之后,数组应该继续在+1处索引,直到它们到达另一个“块”,然后进行适当的
抽取
。Decimate Factor 100 (我的当前设置一旦达到某个X值,就会永久地更改
抽取
因子,从那时起,只会以10、100、1000……的<
浏览 17
提问于2019-06-04
得票数 1
5
回答
将系统服务日志重定向到文件
、
我试图在Ubuntu16.04上作为systemd服务运行
flume
,并在/etc/systemd/system/
flume
-ng.service中使用以下内容Description=Apache
Flume
ExecStart=/usr/bin/nohup /opt/
flume
/current/bin/
flume
-ng agent -c /
浏览 0
提问于2016-11-07
得票数 47
回答已采纳
1
回答
多个木偶类需要访问一个资源并向其追加一个值,因此在计算其他类之后,另一个类可以遍历它。
、
我的木偶基础设施看起来有点像这样:做这件事最好的方法是什么?我想我希
浏览 0
提问于2015-08-24
得票数 1
回答已采纳
2
回答
Hadoop数据摄取
、
、
、
我有以下要求:对于这个问题语句,我们计划有一个数据库轮询器来轮询键条目。在读取该条目之后,我们需要从Oracle表中摄取数据。对于这种摄取目的,哪种工具是最好的?是Kafka,Sqoop,Spark-SQL等吗?请帮帮忙。
浏览 0
提问于2016-11-17
得票数 2
1
回答
Fi-Ware Bigdata配置
、
、
我在教程中找到了下一段如果您没有将这些包包含在Cygnus包中,则需要在APACHE_
FLUME
_HOME/plugins.d/cygnus/libext下安装以下软件包:OrionHDFSSink dependencieshive-service-0.12.0.jar hive-common-0.12.0.jar
浏览 3
提问于2014-06-13
得票数 2
回答已采纳
1
回答
Cygnus不支持
MySql
数据库中的数据
、
、
、
-0] (org.apache.
flume
.conf.FlumeConfiguration$AgentConfiguration.addProperty:1016) - Processing:
mysql
-sink0] (org.apache.
flume
.conf.FlumeConfiguration$AgentConfiguration.addProperty:1016) - Processing:
mysql
-sink:1016) - Processing:
mysql
-sink 02 Jun 201
浏览 2
提问于2015-05-28
得票数 3
回答已采纳
3
回答
Ubuntu上安装大数据模块的顺序
、
在Ubuntu上安装Hadoop、Sqoop、、Spark、Java、Apache、Pig、Hive、
Flume
、Kafka、
Mysql
和其他软件包的顺序是什么?
浏览 6
提问于2022-06-11
得票数 -1
1
回答
如何正确设置天鹅座的列模式?
、
我是否可以手动添加ID并将其设置为自动
增量
,而不会遇到与Cygnus的任何冲突?{name:http-source,state:START} }} sinkRunners:{
mysql
-sink=SinkRunner: { policy:org.apache.
flume
.sink.DefaultSinkProcessor=org.apache.
flume
.channel.MemoryChannel{name:
mysql
-channel}} } 11 Dec 2015 15:22:12,787 INFO
浏览 1
提问于2015-12-11
得票数 4
回答已采纳
2
回答
如何使用
flume
从
mysql
中读取数据?
、
、
、
如何使用
flume
从
mysql
连续读取数据加载到hbase? 我熟悉sqoop,但我需要从
mysql
源码中不断地使用它。是否需要自定义源才能做到这一点?
浏览 3
提问于2012-10-02
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
企业级增量抽取数据模型
实战-MySQL定时增量备份(2)
实战-MySQL定时进行全量与增量备份
Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析
NIFI1.21.0_Mysql到Mysql增量CDC同步_日期_以及null数据同步处理
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券