腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Hadoop数据仓库
专栏作者
举报
512
文章
708839
阅读量
108
订阅数
订阅专栏
申请加入专栏
全部文章(512)
sql(174)
数据库(147)
云数据库 SQL Server(94)
编程算法(65)
大数据(42)
数据处理(42)
hive(39)
hadoop(37)
http(32)
mysql(31)
正则表达式(30)
oracle(29)
云数据库 Redis(23)
网络安全(18)
bash(17)
regexp(17)
bash 指令(16)
java(15)
linux(15)
存储(15)
spark(15)
数据分析(15)
数据挖掘(14)
unix(14)
tcp/ip(14)
https(14)
字符串(14)
node.js(13)
mongodb(12)
数据(12)
set(11)
apache(10)
云数据库 MongoDB(10)
云推荐引擎(10)
hbase(10)
es(10)
函数(10)
html(9)
mapreduce(9)
网站(9)
分布式(9)
缓存(9)
数据迁移(9)
date(9)
机器学习(8)
xml(8)
postgresql(8)
面向对象编程(8)
数据库管理(8)
专用宿主机(7)
TDSQL MySQL 版(7)
腾讯云测试服务(7)
数据可视化(7)
product(7)
脚本(7)
其他(6)
api(6)
神经网络(6)
深度学习(6)
人工智能(6)
shell(6)
线性回归(6)
schema(6)
部署(6)
测试(6)
内容分发网络 CDN(5)
负载均衡(5)
打包(5)
文件存储(5)
ssh(5)
数据结构(5)
实时数仓(5)
kettle(5)
null(5)
select(5)
table(5)
集群(5)
配置(5)
索引(5)
javascript(4)
jquery(4)
nosql(4)
spring(4)
yarn(4)
zookeeper(4)
Elasticsearch Service(4)
clickhouse(4)
data(4)
insert(4)
redis(4)
row(4)
编码(4)
产品(4)
集合(4)
事务(4)
数据同步(4)
语法(4)
ios(3)
jar(3)
容器镜像服务(3)
容器(3)
开源(3)
kafka(3)
迁移(3)
extract(3)
grid(3)
innodb(3)
rows(3)
session(3)
text(3)
镜像(3)
连接(3)
数据仓库(3)
搜索(3)
c++(2)
php(2)
go(2)
ecmascript(2)
ruby on rails(2)
lucene/solr(2)
windows server(2)
负载均衡缓存(2)
日志服务(2)
命令行工具(2)
数据安全(2)
express(2)
sql server(2)
jdbc(2)
决策树(2)
安全(2)
windows(2)
unicode(2)
alpha(2)
count(2)
csv(2)
db(2)
disk(2)
fetch(2)
h2(2)
ip(2)
key(2)
model(2)
predict(2)
project(2)
substr(2)
xls(2)
对象(2)
后台(2)
解决方案(2)
客户端(2)
命令行(2)
内存(2)
统计(2)
弹性伸缩(1)
官方文档(1)
python(1)
ruby(1)
lua(1)
json(1)
arm(1)
嵌入式(1)
memcached(1)
git(1)
github(1)
搜索引擎(1)
analyzer(1)
centos(1)
apt-get(1)
SSL 证书(1)
数据备份(1)
日志数据(1)
云数据库 MySQL(1)
serverless(1)
parcel(1)
运维(1)
爬虫(1)
yum(1)
推荐系统(1)
rabbitmq(1)
gcc(1)
socket编程(1)
机器人(1)
nest(1)
任务调度(1)
sdn(1)
聚类算法(1)
分类算法(1)
utf8(1)
ascii(1)
学习方法(1)
数据集成(1)
add(1)
amp(1)
apollo(1)
authentication(1)
awk(1)
byte(1)
cat(1)
code(1)
connect(1)
counter(1)
crontab(1)
d3(1)
deadlock(1)
debezium(1)
delimiter(1)
digits(1)
etl(1)
factory(1)
greenplum(1)
host(1)
hostname(1)
im(1)
join(1)
matrix(1)
min(1)
monitor(1)
ode(1)
panel(1)
partition(1)
performance(1)
position(1)
proc(1)
production(1)
progress(1)
replace(1)
sentinel(1)
sequence(1)
server(1)
sh(1)
split(1)
state(1)
status(1)
storage(1)
string(1)
swap(1)
system(1)
tar(1)
tree(1)
txt(1)
version(1)
view(1)
zip(1)
备份(1)
变量(1)
程序设计(1)
磁盘(1)
存储过程(1)
代理(1)
服务(1)
服务器(1)
规范化(1)
进程(1)
权限(1)
入门(1)
设计(1)
实践(1)
树形结构(1)
同步(1)
系统(1)
效率(1)
协议(1)
性能(1)
优化(1)
原理(1)
指针(1)
标签(1)
搜索文章
搜索
搜索
关闭
从 MySQL 到 ClickHouse 实时数据同步 —— Debezium + Kafka 表引擎
mysql
数据同步
kafka
clickhouse
debezium
本文介绍从 MySQL 作为源到 ClickHouse 作为目标的整个过程。MySQL 数据库更改通过 Debezium 捕获,并作为事件发布在到 Kafka 上。ClickHouse 通过 Kafka 表引擎按部分顺序应用这些更改,实时并保持最终一致性。相关软件版本如下:
用户1148526
2024-04-26
8
0
从 MySQL 到 ClickHouse 实时数据同步 —— MaterializeMySQL + Materialized View
view
数据
数据同步
clickhouse
mysql
本篇演示使用 ClickHouse 的 MaterializeMySQL 数据库引擎和物化视图,实时将 MySQL 库表中的数据同步到 ClickHouse 的库表中。相关软件版本如下:
用户1148526
2024-04-20
189
0
使用 mysql 命令行访问 ClickHouse 服务器
命令行
clickhouse
mysql
服务器
客户端
ClickHouse 这点不错,支持MySQL wire通讯协议,用 mysql 命令行直接连 ClickHouse 服务器,用起来跟 MySQL 几乎一样。
用户1148526
2024-04-18
65
0
ClickHouse 集群部署(不需要 Zookeeper)
分布式
zookeeper
clickhouse
部署
集群
(1)安装 ClickHouse Server 和 ClickHouse Client
用户1148526
2024-04-18
235
0
MySQL 重做从库脚本
mysql
服务
后台
脚本
data
用户1148526
2024-04-10
87
0
基于 HBase & Phoenix 构建实时数仓(5)—— 用 Kafka Connect 做实时数据同步
hbase
kafka
实时数仓
connect
数据同步
本篇演示安装配置 Kafka connect 插件实现 MySQL 到 Hbase 的实时数据同步。依赖环境见本专栏前面文章。相关软件版本如下:
用户1148526
2024-03-21
92
0
基于 HBase & Phoenix 构建实时数仓(4)—— Kafka 集群安装部署
hbase
kafka
实时数仓
部署
集群
Kafka 是一个完整的消息系统,常用于实时系统中的消息中转和数据持久化。Kafka 集群安装部署依赖于 Zookeeper,本专栏前面文章介绍了 Zookeeper 安装部署及运行,参见 “安装部署 Zookeeper 集群”。本篇继续介绍在相同主机环境下安装部署 Kafka 集群。
用户1148526
2024-03-12
94
0
基于 HBase & Phoenix 构建实时数仓(3)—— Phoenix 安装
system
连接
数据
hbase
实时数仓
继续上一篇,本篇介绍在同一环境中安装 Phoenix,并连接上篇部署的 HBase 集群。
用户1148526
2024-03-09
130
0
基于 HBase & Phoenix 构建实时数仓(2)—— HBase 完全分布式安装
配置
分布式
hbase
实时数仓
集群
完全分布式 HBase 集群的运行依赖于 Zookeeper 和 Hadoop,在前一篇中已经详细介绍了他们的安装部署及运行,参见“基于 HBase & Phoenix 构建实时数仓(1)—— Hadoop HA 安装部署”。本篇继续介绍在相同主机环境下安装配置完全分布式 HBase 集群。
用户1148526
2024-03-09
85
0
基于 HBase & Phoenix 构建实时数仓(1)—— Hadoop HA 安装部署
hbase
实时数仓
部署
配置
hadoop
172.18.4.126 node1 172.18.4.188 node2 172.18.4.71 node3 172.18.4.86 node4
用户1148526
2024-03-08
85
0
INSERT...ONDUPLICATEKEYUPDATE产生deathlock死锁原理讲解及解决办法
存储
insert
事务
数据
原理
地址:【转】INSERT...ONDUPLICATEKEYUPDATE产生deathlock死锁原理讲解及解决办法_on duplicate key update死锁解决-CSDN博客
用户1148526
2024-02-02
110
0
安全快速地删除 MySQL 大表数据并释放空间
安全
mysql
后台
脚本
数据
表中现有约 50 亿条数据,只保留 2023-10-01 以后的数据(约占总量的 1/10),其它删除。
用户1148526
2023-12-08
280
1
MySQL 中文转拼音函数
mysql
set
测试
函数
字符串
需求是将字符串中的汉字转为拼音。创建一个汉字转拼音的函数,在其中判断每个字符是否为中文,如果是则查询拼音表取得对应的拼音,否则原样返回。网上的大部分 MySQL 转拼音函数都是通过创建一个拼音对照表,然后在自定义函数中查询该表实现的。以下对这种实现做了修改,具有以下特点:
用户1148526
2023-11-25
225
0
查看进程 swap 占用情况
awk
proc
swap
进程
内存
用户1148526
2023-11-21
215
0
使用 pt-online-schema-change 将 MySQL 表改为分区表
mysql
schema
备份
测试
数据
MySQL 版本: 8.0.16 percona-toolkit 版本:3.0.6
用户1148526
2023-11-15
183
0
按过期时间定期删除 redis Key
ip
key
redis
txt
脚本
脚本文件 /home/redis/expired_system_message/unlink.sh 内容如下:
用户1148526
2023-11-11
112
0
定期变换数据捕获并用钉钉机器人发报警消息
机器人
mysql
事务
数据
数据同步
用户1148526
2023-11-11
81
0
查询 MySQL 客户端连接 IP 的脚本
ip
mysql
脚本
客户端
连接
用户1148526
2023-10-26
168
0
CentOS 7.9 安装 MySQL 8 配置模板
centos
innodb
mysql
配置
数据
2. 系统版本:CentOS Linux release 7.9.2009 (Core);MySQL 8.0.223. 修改系统核心参数
用户1148526
2023-10-23
302
0
MySQL 命令行多实例连接界面脚本
db
mysql
脚本
连接
命令行
用户1148526
2023-10-14
132
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档