腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何定期向hadoop提供
数据
mysql
、
hadoop
我的公司每天产生大约600万条记录,我看到hadoop是处理大量
数据
的一个很好的解决方案。我发现了如何从
mysql
加载
数据
,但它正在导出完整的
数据
库,有没有办法保持我的
mysql
DB和Hadoop之间的
数据
同步?
浏览 2
提问于2020-03-07
得票数 1
2
回答
如何链接docker-compose.yml文件中的
MySQL
RDS?
docker
、
docker-compose
而不是下面的
mysql
容器DB链接,我想链接在码头yml file中的AWS
Mysql
RDS。有可能吗?
mysql
_db: container_name: shishir_db
MYSQL
_ROOT_PASSWORD: "xxxxxxxx" #
MYS
浏览 24
提问于2017-01-27
得票数 4
1
回答
例如,首先从HDFS获取
数据
,然后使用
Kafka
的流
mysql
、
apache-spark
、
hadoop
、
apache-kafka
、
spark-streaming
我在
MySQL
上有5000万行事务
数据
,我想报告这些
数据
。我想把
数据
转储到HDFS中。现在,
数据
每天都在DB中出现,我正在为新的
数据
添加
KAFKA
。我想知道如何组合多个源
数据
并进行实时分析(延迟1-2分钟是可以的),并保存这些结果,因为未来的
数据
需要先前的结果。
浏览 3
提问于2022-08-27
得票数 0
1
回答
如何使用
Kafka
Streams/Connect保持
MySQL
数据
库与HBASE同步?
mysql
、
hbase
、
apache-kafka-connect
我想同步HBASE
数据
库作为由
MySQL
产生的
更新
触发器与
Kafka
Streams或
Kafka
连接的帮助。关于它的可能性和它是如何实现的,有什么建议吗?
浏览 22
提问于2019-11-27
得票数 0
2
回答
如何在Apache
Kafka
中从远程
数据
库拉取
数据
?
mysql
、
apache-kafka
、
apache-kafka-connect
我想在Apache
Kafka
中创建实时
数据
管道。我有一个
数据
库,它位于远程位置,该
数据
库不断
更新
。我应该使用哪个
Kafka
连接API从
数据
库中提取
数据
并实时摄取到
Kafka
broker中?稍后,我将使用
kafka
stream和KSQL运行即席查询来执行指标。 任何帮助都将不胜感激!
浏览 2
提问于2018-08-28
得票数 1
1
回答
从
mysql
中提取每日
数据
更改并将其部署到timeseries DB
mysql
、
apache-kafka
、
apache-kafka-connect
、
debezium
、
druid
在
MySQL
中,使用binlog,我们可以提取
数据
更改。但我只需要在那个时间/一天内所做的最新更改,并需要将这些
数据
输入到timeseries DB (计划使用druid) 在读取binlog时,有没有什么机制可以避免重复并保留最新的更改?我的意图是每天在timeseries
数据
库中备份整个
MySQL
数据
库。它有助于通过参考当天存在的实际
数据
来调试我的应用程序的过去日期
浏览 4
提问于2021-10-28
得票数 0
2
回答
卡夫卡
MySQL
作为消费者
mysql
、
apache-kafka
我有卡夫卡作为服务器生态系统中的消息代理,我能以某种方式使
MySQL
成为消费者吗? 我需要直接用卡夫卡的
数据
库来写
数据
。
浏览 7
提问于2015-07-07
得票数 1
回答已采纳
1
回答
Spark Structured streaming: JDBC接收器中的主键
mysql
、
apache-spark
、
apache-spark-sql
、
spark-structured-streaming
、
apache-spark-dataset
我正在使用带有
更新
模式的结构化
数据
流从
kafka
主题中读取
数据
流,然后进行一些转换。 然后,我创建了一个jdbc接收器来使用Append模式将
数据
推送到
mysql
接收器中。问题是我如何告诉我的接收器让它知道这是我的主键,并基于它进行
更新
,这样我的表就不应该有任何重复的行。val df: DataFrame = spark .format("
kafka
") .option("
kaf
浏览 6
提问于2019-05-02
得票数 1
回答已采纳
1
回答
我可以使用Pyspark
更新
远程
Mysql
DB中的表中的值吗?
python
、
mysql
、
pyspark
、
apache-kafka
、
pyspark-sql
我正在使用
kafka
从远程
mysql
数据
库读取
数据
,并将其传递到Pyspark streaming以应用情感分析,然后用该值
更新
mysql
数据
库中的列。这是最好的情况,还是有比这更有效的架构?
浏览 1
提问于2019-11-20
得票数 0
1
回答
MSSQL与
KAFKA
集成
apache-kafka
我正在尝试使用
kafka
(实时
数据
)将
数据
从MSSQL导入到Hive,其中包含增量和
更新
的
数据
。我看到了github的用于
mysql
到hdfs
数据
传输的融合平台,但我没有找到用于MSSQL的。谁正在做这个工作,请建议我如何集成MSSQL和
kafka
?
浏览 27
提问于2016-09-26
得票数 1
1
回答
从
mysql
到mongo
数据
库的
数据
调度问题
mysql
、
mongodb
、
apache-kafka
、
etl
、
data-synchronization
我们正在开发一个SAAS系统,在这个系统中,我们最初使用
MySQL
作为DB,但随着
数据
的增长,我们的
数据
列表变慢了,所以为了解决这个问题,我们已经使用了Mongo DB,我们已经在其中存储了准备好的JSON,我们需要显示一段时间(与
MySQL
的所有连接),它工作得很好 我们用java编写了一个调度程序,它每2分钟运行一次,并将修改后的记录从
MySQL
更新
到mongo。最初,它工作得很好,但随着时间的推移,
数据
和它的速率增加,它失败了很多次,所以我们决定寻找任何可以从<e
浏览 14
提问于2020-02-04
得票数 0
1
回答
有些主题无法按照Debezium中的
MySQL
表创建
mysql
、
apache-kafka
、
debezium
我使用了疾病预防控制中心从
MySQL
到卡夫卡的主题,这里的问题是一些主题是创建的,而一些主题并不是按照特定
数据
库中的表列表创建的。我在
数据
库中有5个表,名称是demo。2 demo.demo.table_4根据Debezium的文档:serverName.databaseName
浏览 4
提问于2021-10-30
得票数 0
1
回答
kafka
如何仅在使用
kafka
流从
mysql
数据
库插入或
更新
新行或
更新
旧行时才获取
数据
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我使用的是confluent平台JDBC连接器,它是从
mysql
到
kafka
消费者的流式
数据
。通过应用程序将
数据
插入另一个
数据
库以进行报告。这里的问题是,它只是在某个时间间隔内一次又一次地流式传输所有
数据
。实际上,A只想要那些新插入的
数据
或对以前记录的任何
更新
。 根据时间戳不能这样做,因为表不包含任何时间列。并且按照增量id也是不可能的。":"org.apache.
kafka
.connect.json.JsonCo
浏览 0
提问于2021-06-14
得票数 0
2
回答
当您使用
kafka
(在坞容器中)时,插件路径到底在哪里?
apache-kafka
、
docker-compose
、
apache-kafka-connect
我试着把一些连接器(jdbc连接器,
mysql
连接器)放到
kafka
- connector容器中,但是它没有工作。 如果我输入插件路径,我应该写在哪里?卡夫卡-连接?)
浏览 26
提问于2022-05-20
得票数 0
2
回答
一个码头容器中的两个进程还是连接到同一个
数据
库的两个服务?
python
、
microservices
、
docker
、
flask
、
apache-kafka
该应用程序的总体思路是:我想将每个步骤分割成一个单独的服务。我想我有两个选择,这里的微服务体系结构的最佳实践是什么?备选方案一 备选案文
浏览 0
提问于2016-09-22
得票数 4
回答已采纳
2
回答
我们可以在mongodb中
更新
/
更新
记录吗?
数据
源为
kafka
apache-kafka
、
apache-kafka-connect
、
mongodb-kafka-connector
我们可以在mongodb中
更新
/
更新
记录,但是是否有任何方法或函数可以让我们直接在mongodb中
更新
或
更新
文档,源系统是
kafka
,目标系统是mongodb。
浏览 21
提问于2019-12-09
得票数 9
回答已采纳
1
回答
KSQL流未从主题中获取输出
confluent-platform
、
ksqldb
我已经将
kafka
连接到
mysql
。该主题包含AVRO格式的
数据
。现在,我想将该
数据
转换为CSV格式。为此,我使用了KSQL流。当我像这样创建流时(如果我用相同的主题运行消费者命令,它会显示
数据
),然后给select * from source_avro,它不会显示任何
数据
浏览 1
提问于2019-04-23
得票数 1
1
回答
使用
KAFKA
作为热库,
MySQL
作为冷库
mysql
、
apache-kafka
我想每秒向
KAFKA
中插入大约500k的
数据
,然后将它们与每秒仅支持40k插入/
更新
的
MySQL
数据
库同步。因此,为了实现我的目标,我想使用
KAFKA
作为热存储,因为我需要尽可能快地使用
数据
,并与多个服务共享它们,并快速进行
更新
,因为它不能单独使用
MySQL
(我想将其用作冷存储,以尽可能长地存储
数据
并存档更改
浏览 0
提问于2019-06-20
得票数 0
1
回答
CQRS中的可用性与原子
更新
apache-kafka
、
architecture
、
microservices
、
cqrs
、
debezium
我试图使用以下组件实现CQRS设计:
数据
库可以是
MySQL
或PostgreSQL,
Kafka
流可以充当事件处理器/读取视图
更新
程序,对cdc事件进行必要的转换并
更新
读取视图。在失败的情况下,有可能得到重复的消息,这可能导致相同的
数据
存储在读取端。如何在CQRS configura
浏览 5
提问于2022-06-07
得票数 1
1
回答
C#如何检测每个微服务API中的crud操作并将其发布到rabbitMQ?
c#
、
asp.net-core
、
.net-core
、
rabbitmq
、
microservices
我希望当在管理微服务API中执行crud操作时,rabbitMQ捕捉事件并将crud操作作为消息发布,然后从另一端使用服务或某个工具使用消息,然后使用它来
更新
另一个
数据
库?如何做到这一点?
浏览 1
提问于2021-02-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MySQL查询和更新数据(二)
MySQL 插入,更新和删除数据
MySQL插入数据与更新和删除数据
MySQL数据库应用总结—MySQL数据库数据的插入、更新和删除操作
Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券