腾讯、阿里、字节竟然是这么做数据库的？！

AI科技大本营

发布于 2023-04-14 12:41:27

8520

发布于 2023-04-14 12:41:27

文章被收录于专栏：AI科技大本营的专栏AI科技大本营的专栏

整理 | 田玮靖

出品 | CSDN（ID：CSDNnews）

当前，新一轮科技革命使得数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化，同时，云数据库、HTAP数据库、AI向量数据库等物种的出现，为数据库领域带来了新的技术难题和业务痛点。如：分布式中的一致性，那么多数据一致性模型，到底有什么不一样？如何保障数据安全与业务稳定发展？云数据库有哪些关键技术，怎么实现？“多云共存”，怎么进行数据库管控？

以上问题有你正在关注、疑惑的地方吗？不妨看看国内大厂都是如何解决诸多难题的吧。

10月23-24日，第二届“长沙·中国1024程序员节”（1024.csdn.net）重磅来袭，除16大数据库掌门人齐聚之外，组委会更特别推出“数据库技术实践与未来展望”主题论坛，邀请分布式数据库、云原生数据库、开源数据库、图数据库等领域的技术专家，围绕开发者广泛关注的数据库技术，结合大厂优秀实践，为你详细解读数据库技术痛点解决方案、前沿技术实现、技术应用趋势，希望你在处理好业务的同时，能够及时抓住发展机遇。

接下来，我们一起来看来自腾讯TDSQL、阿里巴巴PolarDB、PostgreSQL、蚂蚁集团OceanBase、字节跳动、人大金仓、云和恩墨的大咖们都将带来哪些精彩的分享。

分布式数据库中的一致性创新技术

我们经常谈论一致性，但很多人又不明确一致性的含义。其实，在不同场景下，有着不同的一致性，腾讯数据库首席架构师李海翔就分布式数据库范围内的各种一致性做深度剖析，并对它们之间的关系做深度探索，最后还提出业界最新的一致性技术，并就多种主流数据库在一致性层面的差异做深度分析和解读。

李海翔，腾讯数据库首席架构师、CCF数据库专委会委员，著有《数据库查询优化器的艺术》《数据库事务处理的艺术》《分布式数据库原理、架构和实践》等。

演讲大纲：

1. 一致性技术的问题和挑战

1.1 为什么要做到一致性？
1.2 什么是一致性？

2. 有哪些一致性技术？

2.1 架构层面的一致性
2.2 数据层面的一致性
2.3 事务处理的一致性
2.4 分布式一致性

3. 如何实现分布式数据库的强一致性技术？

3.1 在分布式数据库中，如何实现强一致性？
3.2 主流数据库强一致性的优劣对比

云原生数据库、Serverless数据库与分布式数据库领域的发展和统一

近年来，随着高速总线技术与网络设备的进一步演进，分离式数据中心（Disaggregated Data Center）极有可能发展为未来云机房的标准，因此，阿里巴巴设计了下一代的云数据库架构，以内存池化、多租户、热迁移、混合逻辑时钟等技术为基础，融合了云原生数据库、Serverless数据库和分布式数据库等多个领域的数据库技术，向用户提供更加简单透明的扩展体验。来自阿里巴巴的研究员、PolarDB创始人曹伟（鸣嵩）将介绍云原生数据库、Serverless数据库和分布式数据库的关键技术，以及下一代云数据库架构的技术实现。

曹伟（鸣嵩），阿里巴巴研究员，设计和主导研发了中国首个自主可控的云原生数据库PolarDB。

演讲大纲：

1. 云原生数据库的关键技术

1.1 技术与存储分离
1.2 RDMA、NVM等高速硬件
1.3 共识算法
1.4 日志下推
1.5 计算下推

2. Serverless数据库的关键技术

2.1 Auto Scale、Auto Pause
2.2 Scaling Transparency
2.3 Self-Driving

3. 分布式数据库的关键技术

3.1 分布式事务
3.2 分布式查询
3.3 HTAP与湖仓一体

4. 下一代云数据库架构展望

4.1 分离式数据中心与内存池化
4.2 多租户与热迁移技术
4.3 Scale-Out on top of Scale-Up

基于PostgreSQL的技术生态发展历程和演进趋势

PostgreSQL是一专多长的全栈式数据库，其凭借丰富的特性，稳定的表现，友善的协议，开放的生态，在广大数据库用户中倍受赞誉，三次摘得DB-Engines年度数据库桂冠！PostgreSQL中国区主席将为你介绍PostgreSQL扩展相关的生态，展现PostgreSQL内核之外的世界，为广大PG数据库的使用者，提供更多更优的解题思路，还会介绍一些基于PostgreSQL的分支、分叉、分布式、时序、流式数据库的解决方案。

张文升，PostgreSQL中国社区主席，探探数据库负责人，《PostgreSQL实战》《PostgreSQL指南：内幕探索》等书籍译者。

演讲大纲：

1. 运行在PostgreSQL上的扩展生态

1.1 行业事实标准PostGIS
1.2 流式数据处理 Extension Pipelinedb
1.3 时序数据Extension Timescaledb
1.4 基于Extension机制的分布式解决方案 Citus

2. 基于PostgreSQL的创新历程和实践

2.1 早期的分布式实现PG-XC，PG-XL
2.2 PostgreSQL在国内的创新分叉 openGauess
2.3 分布式解决方案创新产品 PalarDB-PG，TDSQL-PG，antDB
2.4 时序数据库新秀MatrixDB
2.5 PostgreSQL之于信创

3. PostgreSQL关键技术的演进趋势

3.1 可插拔存储引擎（TAM）对PostgreSQL生态演进方向的影响
3.2 人工智能和云基础设施和新兴硬件构建新时代的数据库应用形态
3.3 数据库服务和支撑体系的变革

数字化转型中面临的关键挑战和尝试

企业在数字化转型中，对数据管理的主要诉求及面临的挑战是连续性和先进性，企业需要在这个战略性变革中平滑过渡，还需要能够长期演进的数据库产品、技术和解决方案。来自OceanBase的产品部负责人王南将为你介绍他们的解决方案和建议。

王南，OceanBase产品部负责人，原华为openGauss数据库总经理，曾负责GaussDB、openGauss和GMDB等业务。

演讲大纲：

1. 数字化过程中面临的新挑战

2. 怎么解决这些挑战和问题

2.1 集中式到分布式的业务改造
2.2 数据的平滑迁移
2.3 容灾技术和方案
2.4 HTAP能力
2.5 混合基础设施部署
2.6 成本和风险控制

3. 下一步还需要做什么

3.1 新场景、新硬件和新技术的挑战
3.2 OceanBase的尝试

字节跳动图数据库和图计算实践

随着移动互联网的深入发展，数据实体之间的关联性越发凸显，Graph在解决关联性问题时有种种优势，也成为学术界和工业界关注的热点。Gartner预测，到2025年图技术在数据和分析创新中的占比将从2021年的10%上升到80%。该技术将促进整个企业机构的快速决策。

在字节跳动多条产品线上，拥有大量图状关系数据，如何存储、查询、分析乃至挖掘这些图状数据不仅关系到核心数据资产的安全，也影响到是否能够充分挖掘数据价值赋能业务。因此，图数据的存储和计算，是字节跳动架构工程团队的核心方向之一。字节跳动图数据库与图计算平台负责人张帅将以字节跳动的业务场景为例，分享图数据库和图计算技术如何解决具体数据处理问题。

张帅，字节跳动图数据库与图计算平台负责人，中科院计算所硕士毕业，专注基础架构领域。

演讲大纲：

1. 图形数据无处不在

1.1 字节跳动的图数据场景举例
1.2 如何用图来对数据建模

2. 图数据库系统

2.1 现有图数据库架构比较
2.2 字节跳动实践架构演进
2.3 字节图数据库的未来演进

3. 图计算系统

3.1 图计算系统有哪些典型场景
3.2 图计算系统和图数据库系统对比
3.3 字节图数据库系统实践

4. 一站式图平台

4.1 多种技术如何抽象为业务场景
4.2 平台功能介绍

5. 总结

如何在“多云共存”环境中，进行数据库管控

如今，信息化已经进入了云计算、大数据快速发展的时代，越来越多的业务在云端开展，迫切需要将数据库服务管控能力与云计算平台进行深度融合，提供可按需申请、开箱即用、稳定可靠、可弹性扩展的云端数据库服务。同时，在云时代，“多云共存”成为新一代IT基础设施的存在形态，但不同的云平台其技术标准不一、实现方式各异，使得统一申请、使用、管理数据库变成了一件难事。在此背景下，人大金仓提出了新的解决思路，其工具产品研发中心总监将在演讲中为你揭晓。

黄新著，北京人大金仓信息技术股份有限公司工具产品研发中心总监，拥有20年IT行业从业经验，具备丰富的软件产品、软件架构设计和研发实战经验。

演讲大纲：

1. 云数据库时代的RDS

2. 金仓云数据库服务（KRDS）管控新思路

2.1 立于多云环境之上的KRDS
2.2 平台化与服务化的KRDS体系架构
2.3 金仓云数据库全生命周期管理及关键技术
2.3.1 基于智能翻译技术实现异构数据库迁移转换和改写
2.3.2 无侵入的探针技术
2.3.3 海量数据迁移加速技术
2.3.4 数据库性能诊断、分析与调优

3. 如何实现跨越多云的RDS实例管控

3.1 KRDS云适配器设计思路
3.2 KRDS实例管控

内存表MOT存储引擎的创新与实现

MOT（memory-optimized tables，内存优化表）是以内存为中心的行存储引擎，提供事务ACID保证，针对众核和大内存优化，可以提供非常高的交易型工作负载性能。云和恩墨MogDB数据库CTO张程伟，就MOT中涉及的关键技术进行介绍，并对其未来的演进方向进行探索。

张程伟，云和恩墨MogDB数据库CTO，曾任华为云数据库创新LAB首席架构师，拥有个人专利23项。

演讲大纲：

1. 数据库的性能挑战

1.1 数据库的性能分布
1.2 数据库的性能优化方向

2. 以内存为中心的数据库设计

2.1 MOT总体方案
2.2 无锁高并发的索引设计
2.3 乐观的事务并发控制协议
2.4 高效Checkpoint机制
2.5 内存管理机制
2.6 兼容性设计

3. 未来演进方向

如何使用全面向量化技术，打造极速统一的数据分析架构

数据驱动正在深刻地改变整个世界，我们的业务数据、数据报表、数据指标越来越多，但我们分析数据的速度却越来越慢，报表构建的复杂度也越来越高。如何有效地分析这些海量数据，真正利用数据为业务创造价值？本次分享主要介绍如何使用全面向量化技术，打造极速统一数据分析架构，高效支持海量数据的多维分析、实时分析、高并发分析等多种数据分析场景。