腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flink 1.2.0 jdbc从
Mysql
读取流
数据
、
、
、
、
我正在尝试使用Flink 2.1.0从
mysql
日志表中读取流
数据
,但是,它只读取一次,然后它将停止该过程。我希望它继续读取,如果有传入的
数据
,并打印它。env.createInput( .setDrivername("com.
mysql
.jdbc.Driver") .setDBUrl("jdbc:
mysq
浏览 72
提问于2017-02-22
得票数 2
1
回答
更改connect.offsets
kafka
连接器错误
、
、
我将binlog
mysql
中的
数据
同步
到
kafka
,有时binlog文件被删除,重新启动连接器时出现错误 org.apache.
kafka
.connect.errors.ConnectException: The connector is trying to read binlog starting at binlog file '
mysql
-bin.000003', pos=154, skipping但是它会再次加载
数据
库推送主
浏览 8
提问于2020-05-29
得票数 0
1
回答
mysql
数据
库通过
kafka
订阅方式,可以指定binlog的起始时间吗?
、
、
、
mysql
数据
库通过
kafka
订阅方式,可以指定binlog订阅的时间范围吗? 比如我从购买日期是11月11日,但是订阅时间可以从11月1日开始进行订阅吗
浏览 196
提问于2021-11-14
1
回答
在
Kafka
streams作业中执行
同步
数据
库查询或restful调用是一种好的做法吗?
、
、
、
我使用
Kafka
streams来处理实时
数据
,在
Kafka
streams任务中,我需要访问
MySQL
来查询
数据
,并且需要调用另一个restful服务。这是一个好的实践吗?或者有什么好主意来做这件事?
浏览 3
提问于2018-08-21
得票数 1
1
回答
如何使用
Kafka
Streams/Connect保持
MySQL
数据
库与HBASE
同步
?
、
、
我想
同步
HBASE
数据
库作为由
MySQL
产生的更新触发器与
Kafka
Streams或
Kafka
连接的帮助。关于它的可能性和它是如何实现的,有什么建议吗?
浏览 22
提问于2019-11-27
得票数 0
1
回答
从
MYSQL
将
数据
填充到elasticsearch的良好实践
、
、
我阅读了一些文档,并找到了一些有趣的方法来实现与elasticsearch实时
同步
来填充
数据
。(输入插件(
mysql
-每5 seconds))logstash运行一次)(输入插件(sqs,
kafka
,rabbitMQ))using message queus only(rabbitMQ..)add)仅在api级别(在与(
mysql
或其他dbs)的事务中)中运行)。我的要求将是填充3个表,从
mysql
到
elasticsearch (有很多到多个关系需要去定向和保存),并
浏览 4
提问于2019-11-15
得票数 0
1
回答
用fluentd和elasticsearch实现实时
数据
同步
我正在使用fluentd将
数据
从
kafka
同步
到
elascticsearch。但fluentd需要60秒才能将
数据
同步
到
elasticsearch。我想要实时
数据
同步
。有没有我必须包括的配置参数。我试过了 <source> brokers localhost:9092</source>
浏览 29
提问于2019-06-17
得票数 0
回答已采纳
2
回答
如何定期向hadoop提供
数据
、
我的公司每天产生大约600万条记录,我看到hadoop是处理大量
数据
的一个很好的解决方案。我发现了如何从
mysql
加载
数据
,但它正在导出完整的
数据
库,有没有办法保持我的
mysql
DB和Hadoop之间的
数据
同步
?
浏览 2
提问于2020-03-07
得票数 1
1
回答
从
mysql
到
mongo
数据
库的
数据
调度问题
、
、
、
、
我们正在开发一个SAAS系统,在这个系统中,我们最初使用
MySQL
作为DB,但随着
数据
的增长,我们的
数据
列表变慢了,所以为了解决这个问题,我们已经使用了Mongo DB,我们已经在其中存储了准备好的JSON,我们需要显示一段时间(与
MySQL
的所有连接),它工作得很好 我们用java编写了一个调度程序,它每2分钟运行一次,并将修改后的记录从
MySQL
更新到mongo。最初,它工作得很好,但随着时间的推移,
数据
和它的速率增加,它失败了很多次,所以我们决定寻找任何可以从
MySQL</
浏览 14
提问于2020-02-04
得票数 0
2
回答
**
Kafka
**跨区域
数据
中心之间的双向
同步
、
我有一个部署,我们使用
kafka
从服务发送消息。但我们需要卡夫卡大师在所有地区。因此,一旦消息被推送到一个
数据
中心,它就应该被
同步
到
其他
数据
中心。当它再次在其他
数据
中心完成时,应该
同步
回
同步
。镜像制造者可以提供从1
到
其他
同步
,但我如何实现双向
同步
?
浏览 1
提问于2016-08-18
得票数 4
回答已采纳
1
回答
Kafka
rest代理是解决方案吗?
、
、
我知道我需要
Kafka
作为一个请求-响应,将响应返回给发出事件的客户端。 我找对地方了吗? 另一方面,我想知道在同一主题中使用不同语言(Java和Python)的几个使用者是否有任何问题。
浏览 26
提问于2019-04-08
得票数 0
2
回答
如何在
Kafka
中进行转换(PostgreSQL-> Red shift )
、
、
我对
Kafka
/AWS.My的
数据
从几个来源加载到DW(Redshift)的要求是新的。提前谢谢 杰伦
浏览 0
提问于2018-02-19
得票数 1
回答已采纳
1
回答
KafkaConsumer listTopics()方法是线程安全的吗?
、
我在本地测试了它,发现虽然轮询不能从多个线程调用,但listTopics()和metrics()方法可以工作。这是否意味着从多线程调用这些方法是可以的?我想与这里的专家确认,以避免生产中的任何问题
浏览 3
提问于2020-05-04
得票数 2
1
回答
如何解决错误:在long2ice / synch上的无效选择:“long2ice”
、
、
我正在使用
mysql
的长2ice/synch工具在特定表上单击
数据
复制,但是当运行以下命令时,> synch --alias
mysql
_db etl -h会出错 db_type:
mysql
a
浏览 3
提问于2021-09-04
得票数 0
1
回答
Hazelcast IMap TTL到期
、
在IMap类的put方法期间,TTL集过期后,如何调用方法将
数据
同步
到
某些DB或
Kafka
。eg:IMap.put(key,value,TTL,TimeUnit.SECONDS); 如果上面的TTL设置为10秒,我必须调用一些存储或者某种机制,在那里我可以实时地将键和值
同步
到
DB或
Kafka
。
浏览 9
提问于2020-01-17
得票数 1
回答已采纳
1
回答
Kafka
实时流vs Micro服务
、
、
选择
Kafka
实时流是否有gbps的最低报文速率要求? 我们可以在
Kafka
中处理非常低的消息率吗?
浏览 0
提问于2019-03-31
得票数 1
1
回答
过滤
数据
库中的行
、
、
我想知道
kafka
平台是否适合下面的工作。例如,如果基于日期,将来可能会满足条件,那么是否有机会再次过滤被拒绝的邮件,以最终通过过滤器并进一步处理?在给
Kafka
提供
数据
之前先过滤
数据
行是不是更好? 谢谢。
浏览 9
提问于2017-08-11
得票数 0
回答已采纳
1
回答
通过写入
MySQL
表来更改
MySQL
/PHP中的
数据
捕获(而不是流到
Kafka
/兔子/等等)?
、
、
、
、
我有一个小型的内部web应用程序,我正在用PHP和
MySQL
开发。我希望通过请求某个日期以来的所有更改来将客户端网页
同步
到
服务器。我已经通过
MySQL
中的第三方更改
数据
捕获库(Maxwell、Debezium等)找到了许多解决方案,但它们似乎都是流到
Kafka
或类似的东西上。这是一个更小、更简单的项目,没有任何消息队列/代理。我只想在同一个
MySQL
数据
库中记录更改,这些更改包含CRUD操作、更改的表、表行ID和日期时间等列。然后,我可以查询
浏览 0
提问于2019-07-31
得票数 0
回答已采纳
1
回答
以最简单和最可靠的方式将表从
数据
库复制
到
AWS中的
数据
库
、
、
、
我有三个
数据
库中的一些表,我想以自动化的方式将它们的
数据
复制
到
另一个
数据
库中,而且这些
数据
相当大。我的服务器在AWS上运行。最简单和最可靠的方法是什么?编辑我希望他们保持
同步
(作为DevOps工程师的自动化过程)
数据
库都是
MySQL
的,都是在AWS EC2之间移动的。
数据
在100 The
到
200 the之间,目前,Maxwell从表中提取
数据
,然后转移到
Kafka
,然后用Java
浏览 0
提问于2021-07-13
得票数 0
1
回答
我可以使用Pyspark更新远程
Mysql
DB中的表中的值吗?
、
、
、
、
我正在使用
kafka
从远程
mysql
数据
库读取
数据
,并将其传递
到
Pyspark streaming以应用情感分析,然后用该值更新
mysql
数据
库中的列。这是最好的情况,还是有比这更有效的架构?
浏览 1
提问于2019-11-20
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Oracle数据同步到Kafka
NIFI1.21.0_Mysql到Mysql增量CDC同步_日期_以及null数据同步处理
Mysql数据实时同步实践
MySQL 数据实时同步实践
mysql多台服务器数据同步
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券