作者 | 潘娟 伴随着互联网应用场景逐渐深入到生活的各个角落，为了确保前端用户的使用体验，对互联网产品的后端架构性能提出了更高的需求。如今，开发以及运维人员正在将工作重心和优化重点放在了后端基础设施的可用性、一致性、扩展性、弹性以及全面自动化管理等能够提升效率的技术能力层面。 1 背景：Kubernetes 环境中的微服务与数据库 应用部署的变化 一方面，在处处充斥着大数据以及高并发场景的今天，后台技术人员往往会花费更多精力在解决『大规模业务数据的存储与应用』等问题上，以确保数据库等基础设施能够
1月7日，一年一度的《PostgreSQL中国技术大会》将在线上召开，本次大会以“开源论道，创新驱动，共建数字化未来”为主题，重点围绕新场景、新技术、新应用等内容展开分享和讨论。 明天（本周六）上午）09：00-12：00，腾讯云数据库专场盛大开启，多位鹅厂顶级技术达人亮相，针对腾讯云PostgreSQL系列产品、技术亮点和创新实践案例做深入解读，6大主题畅游PG海洋。 腾讯云专场议程 议题一：TDSQL开源版的特性升级与演进（1月8日上午9：00-9：30） 分享嘉宾：陈再妮，腾讯云数据库高级工程师
公司技术分为浓重，在众多的兴趣小组里面有一个分布式数据库的小组，本周五需要进分享，是在是惭愧，作为这个小组的 specialist, 啥都没有做，所以赶紧弄弄，要不说啥。
而随着互联网在线业务的蓬勃发展，数据库面临着数据量大、高并发和超高峰值等诸多挑战。分布式数据库已成为业界普遍采用的有效解决方案。
导语：读书是一生的功课，技术人通过读书实现自我提升，学习优秀技术沉淀。TEG读书会本期特邀腾讯金融云专家工程师李海翔、TEG计费平台部专家工程师雷海林、MySQL数据库专家姜承尧，为大家带来数据库方向好书推荐。来看看技术大牛在读什么，国庆遇见好书，愿本期书单助您更专业。 李海翔，腾讯金融云专家工程师，从事分布式数据库TDSQL研发工作。出版著作：《数据库查询优化器的艺术 原理解析与SQL性能优化》、《数据库事务处理的艺术 事务管理与并发控制》，广受好评。中国人民大学信息学院工程硕士企业导师。 理论类
网络信息的发展也使得数据的数量越来越庞大，想要除草如此庞大的数据，需要借助数据库的帮忙，目前数据库的种类非常多样，其中分布式数据库是一种较为新兴的数据库类型，下面为大家简单介绍分布式数据库系统是什么？以及分布式数据库系统主要有哪些优点？
整理 | 田玮靖 出品 | CSDN（ID：CSDNnews） 当前，新一轮科技革命使得数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化，同时，云数据库、HTAP数据库、AI向量数据库等物种的出现，为数据库领域带来了新的技术难题和业务痛点。如：分布式中的一致性，那么多数据一致性模型，到底有什么不一样？如何保障数据安全与业务稳定发展？云数据库有哪些关键技术，怎么实现？“多云共存”，怎么进行数据库管控？ 以上问题有你正在关注、疑惑的地方吗？不妨看看国内大厂都是如何解决诸多难题的吧。 10月23-24日，第
分布式数据库系统是在集中式数据库系统的基础上发展起来的，理解起来也很简单，就是将整体的数据库分开，分布到
如果信息量并不是很多的话，储存起来并没有什么难度，假如信息量达到了一定规模，那么储存难度非常高，这个时候就需要借助数据库的帮忙，数据库类型有很多，每种数据库的优点各不一样。下面要为大家介绍的是分布式数据库系统，比如分布式数据库系统由什么组成以及分布式数据库有什么优缺点。
网络技术的提高也推动了存储技术的提高，因而出现了很多种类型的数据库，不同种类型的数据库所能提供的相应服务不一样，应当根据实际需要选择相应的数据库，其中很多人都会选择使用分布式数据库进行数据储存，那么分布式数据库系统基本特点是什么？分布式数据库系统有什么缺点呢？
导语 | 每一个时间段总是一个新时代，新技术层出不穷使得数据库技术焕发新生。Spanner、CockroachDB、TDSQL等分布式数据库正是这个时代的弄潮儿。本文由腾讯云数据库专家工程师 李海翔在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《分布式数据库的演进》演讲分享整理而成，带大家品味分布式数据库架构、前沿技术和TDSQL技术实践，感受分布式数据库的技术之美。 点击可观看精彩演讲视频 一、分布式数据库架构 我今天所分享的内容主要集中在数据库技
2.数据：是记录现实世界中各种信息并可以被识别的符号，他是信息的载体，是信息的具体 表现形式
作者 CDA 数据分析师 前言 2017年7月29日，由CDA数据分析师主办，以“跨界互联 数据未来”为主题的CDAS 2017第四届中国数据分析师行业峰会在北京中国大饭店隆重举行。 7月29日当天，除了引人眼球的主会场以外，当天同步开放11个分论坛，我们将逐一推送每个分论坛的盛况，以及演讲嘉宾速记稿整理，给每一个CDA成员奉上干货。 CDAS 2017中国数据分析师行业峰会的下午数据库与技术实战分论坛中，来自去哪儿、润乾科技、宜信等七位专家与教授，分享了数据库与技术实战自己的心得体会。 大会
随着各行各业电子信息化的不断加深，线上交易数据保持了长时间高速增长的态势，对数据存储的需求越来越大，数据库管理系统（DBMS）面临越来越大的性能、空间和稳定性压力。在此过程中，得利于计算&存储&网络等硬件领域的不断进步，业界流行的数据库管理系统逐步从单机架构向分布式架构演变。笔者希冀从梳理数据库管理系统所面临的一个又一个实际挑战及业界所提出的诸多解决方案的过程中，发现片缕灵感以指引未来的数据库开发工作。
在当今信息时代，数据的存储和管理变得越来越重要。无论是云存储、数据库还是分布式文件系统，都需要高效的数据存储和检索方法。其中，LSM树（Log-Structured Merge Tree）是一种高性能的数据结构，广泛应用于各种分布式存储系统和数据库引擎中。本文将介绍LSM树的原理，并探讨其在不同使用场景中的应用。
1.1 高并发，大流量 1.2 海量数据 存储及管理海量数据，需要大量服务器 1.3 高可用: 7 * 24 小时服务 1.4 用户分布广泛，网络环境复杂 1.5 安全环境恶劣 大型网站几乎每天都被黑客攻击 1.6 需求快速变更，发布频繁 1.7 渐进式发展
最近在某个“群”， 经常看到吐槽某分布式数据库的“流言蜚语”，主要提到一些问题， 如系统不稳定，系统运行缓慢，等一些问题，细究大部分问题不在分布式数据库，而在于本身使用者不具备使用分布式数据库的最基本的“能力”。
(1)第一代数据库系统是指层次模型数据库系统（基于树形结构）和网状模型数据库系统（基于有向图结构）
作者简介：李海翔，网名“那海蓝蓝”，腾讯金融云数据库技术专家。中国人民大学信息学院工程硕士企业导师。著有《数据库事务处理的艺术：事务管理和并发访问控制》、《数据库查询优化器的艺术：原理解析与SQL性能优化》，广受好评。
前面讲了 Mycat 是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有存储引擎，所以并不是完全意义的分布式数据库系统。
在安装、部署Oracle数据库软件时，需要根据不同应用结构（即硬件平台、操作系统平台）采用不同的方法（基本安装、高级安装），下面介绍几种常见的应用结构。
A云Polardb-x 1.0现已全面升级为Polardb-x 2.0，但Polardb-X 1.0有其自有特色，仍然有很多企业在使用Polardb-X 1.0方案。那么，当这些企业想将业务系统迁移至腾讯云时，该如何进行数据库选型？怎么样进行数据同步？其中又会涉及到哪些问题呢？
Mycat中的概念 数据库中间件 前面讲了Mycat是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而Mycat并没有存储引擎，所以并不是 完全意义的分布式数据库系统。 那么Mycat是什么？Mycat是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服务。由于前面讲的对数 据进行分片处理之后，从原有的一个库，被切分为多个分片数据库，所有的分片数据库集群构成了整个完整的数据库存储。 如上图所表示，数据被分到多个分片数据库后，应用如果需要读取数据，就要需要处理多个数据源的数据。如果没有数据库中间 件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处理，原本该是专注于业务的应用，将会 花大量的工作来处理分片后的问题，最重要的是每个应用处理将是完全的重复造轮子。 所以有了数据库中间件，应用只需要集中与业务处理，大量的通用的数据聚合，事务，数据源切换都由中间件来处理，中间件的 性能与处理能力将直接决定应用的读写性能，所以一款好的数据库中间件至关重要。 逻辑库(schema) 逻辑库（schema） 前面一节讲了数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以 数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。 在云计算时代，数据库中间件可以以多租户的形式给一个或多个应用提供服务，每个应用访问的可能是一个独立或者是共享的物 理库，常见的如阿里云数据库服务器RDS。 逻辑表（table） 逻辑表 既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分 布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。 分片表 分片表，是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的 数据。 例如在mycat配置中的t_node就属于分片表，数据按照规则被分到dn1,dn2两个分片节点(dataNode)上。
在过去，因为信息处理的业务量不大，所以信息系统使用单机版数据库已足够满足应用需求，该架构简单描述为：一台服务器或小型机部署数据库系统软件，一台磁盘阵列上作为存储系统用来存储数据库系统产生的格式化的数据文件，为了保障高可用能力，一般会部署两台数据库服务器，见以下示意图：
为了更系统、深入的梳理数据库的发展脉络和最新进展，数据猿采访了多位业界专家，包括星环科技联合创始人刘汪根、PingCAP 创始人兼 CEO 刘奇、达梦数据技术服务中心副总经理胡俊、南大通用GBase 8s产品线总经理崔志伟、酷克数据首席科学家杨胜文等，来共同探寻数据库的价值和未来。
日前，TDSQL新敏态引擎正式发布，高度适配金融敏态业务。 该引擎完美解决对于敏态业务发展过程中业务形态、业务量的不可预知性，实现了EB级存储的Online DDL，能够大幅提升表结构变更过程中的数据库吞吐量，从而有效应对业务的变化。同时，腾讯独有的数据形态自动感知特性，可以使得数据能够根据业务负载情况自动迁移，打散热点，降低分布式事务比例，获得极致的扩展性和性能。 作为腾讯面向企业级应用场景的分布式数据库产品，目前TDSQL已在众多金融、政务、电商、社交等客户应用案例中奠定了金融级高可用、强一致、高性能
墨墨导读：在集中式数据库系统不能完全符合实际需要的形势下，集中式DB的“集中计算”概念向“分布计算”概念发展。分布计算主要体现在客户机/服务器模式的分布式数据库体系结构两个方面。
[toc] 背景 大型互联网网站及应用是随着业务的逐步发展与不断创新慢慢演化而成的。在这个进化过程中，会有一些通用的问题需要解决，也会有一些常规的中间件需要构建，本文将对这个演化过程中涉及的分布式技术
事务是数据库系统运行的基本工作单位，相当于操作系统中的进程，事务具有ACID特性。从用户的角度来看，事务中的操作要么都做，要么都不做。
分布式数据库系统把应用所需的数据存放在多个数据库服务器上，完成某个数据操作要涉及到访问多个服务器，这适用于某种特定需要的应用。我在主持设计开发的一个MIS系统中，为了达到了在低速网络通道下有效提高应用程序性能的目的，使用了 Sybase的分布式数据库技术。我设计的这个系统是采用典型的C/S结构，但许多客户端连接服务器的网络采用电话线拨号，速度有限，传统Windows界面的客户端应用程序相应速度比较慢。考虑到B/S 结构也避免不了大量数据从服务器端传输到客户端，我认为WEB界面并不能有效解决这个问题，所以采用了优化数据库结构的方法，把数据分两部分存放，基础数据放客户机，会员资料主要采用键码放服务器，应用程序再现数据时从服务器取键码，到客户机取対应的解释，由于键码的数据重少，网络传输便快。在构建这个分布式数据库系统的过程中，我着重研究并解决了数据同歩和事务协调的问题，取得了良好的应用效果。我认为，分布式数据库系统的技术在Intenet时代正当其道，大有发展前景。
本项目由安超云投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。
云计算推动各领域架构技术更新换代，同时加速不同技术生态融合。历经数十年演进的数据库系统，在新技术时代仍面临着核心命题的挑战，也将迎来更多发展方向，在推动云时代数据库系统技术安全可控发展的道路上赋予了我们更多创新机遇。 为推动数据库基础研究发展，加强校企产学研合作交流，2021年5月17日，CCF数据库专委将走进腾讯深圳总部，联合腾讯举办主题为“云时代数据库基础研究的创新与挑战”的数据库技术论坛，聚焦云时代的数据库基础研究创新。 本次论坛分享嘉宾是来自中国计算机学会CCF数据库专委和腾讯的数据库技术专家教
最早的数据库是在单台支持多任务的物理机器上运行的，这种集中式的数据库系统仍然在被广泛使用，如今在集中式数据库系统上运行的企业级应用可能拥有成千上万的用户，数据库的规模从兆字节到数百G字节不等。
数据库与操作系统、中间件组成了基础软件的三驾马车，也是企业 IT 系统必不可少的核心技术。从上世纪 60 年代诞生至今，不论是互联网行业还是银行、电信、制造等传统行业，都依赖着数据库技术的演进。 在步入云原生时代以后，传统数据库在服务可用性、数据可靠性、系统安全性、数据库备份、软硬件投入、系统托管、维护成本、部署扩容、资源利用率等关键方面都有所欠缺。在此背景下，分布式数据库系统获得了令人振奋的发展，云基础设施和数据库进一步整合，弥补了传统数据库的痛点，带来了高可扩展性、全面自动化、快速部署、节约成本、管理便
本文介绍了分布式的基本概念、分布式处理、分布式系统、分布式文件系统和分布式数据库系统。分布式系统是由多个计算机组成的系统，可以用于提高系统的可靠性、可扩展性和并行处理能力。分布式文件系统是一种特殊的网络文件系统，其将数据存储在多个计算机上，使得数据冗余和易于备份。分布式数据库系统将数据存储在多个计算机中，以提高数据的安全性和性能。
前面讲了 Mycat 是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有 存储引擎，所以并不是完全意义的分布式数据库系统。
Oracle 12C正式发布前，我曾经参加过一个中国企业用户与Oracle研发副总裁的圆桌会议，主要是提出国内企业级用户对Oracle数据库的一些需求，供Oracle下一个版本增加功能时参考。当时会上提出的很多需求后来在19c/20c里都看到了响应，不过这些还不是让我印象最深的，印象最深的是针对Oracle 12C SHARDING功能的讨论。
分布式数据库已经流行好多年，产品非常众多，其中分布式数据库中间件使用场景最广。本文主要是总结如何基于分布式数据库中间件做数据库架构设计，以充分发挥它的分布式能力。各个中间件产品功能核心原理相同，细节上有些区别。这里仅以阿里云的DRDS为例分析，在产品架构、功能、成熟度和市场占有率上，它都比同行产品有优势。
在数据量持续爆增、数据日益多样化的今天，传统数据库的迭代速度已经追不上数据的增速，企业对数据库计算和存储能力的要求也越来越高。不久前，腾讯云数据库分布式TDSQL发布金融级全自研新敏态引擎，可以完美适配金融敏态业务。
在分布式数据库系统中，用户感觉不到数据是分布的，即用户不须知道关系是否分割、有无副本、数据存于哪个站点以及事务在哪个站点上执行等。
在数字化时代，数据已成为企业的核心资产，驱动着决策制定、产品创新和服务优化。然而，随着数据量的激增，传统的数据库架构正面临严峻挑战。这些系统在处理大规模数据集、支持高并发事务以及实现快速数据检索方面力不从心，难以满足现代应用对性能和可扩展性的迫切需求。
分布数据库定义：分布数据库是由一组数据组成的，这组数据分布在计算机网络的不同计算机上，网络中的每个节点具有独立处理的能力（称为场地自洽），可以执行局部应用。同时每个结点也能通过网络通信子系统执行全局应用。
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。
分布式数据库有两大流派，NEW SQL VS POSTGRESQL -XC ，NEW SQL 的分布式主流的理论来源自 GOOGLE 的分布式数据库spanner，以及相关理论的白皮书，而令一派的分布式数据库来自于POSTGRESQL -XC， 今天我们看看到底POSTGRESQL-XC 这个流派的方式是什么，有什么特点，当下那些分布式数据库采用了POSTGRESQL -XC。
21世纪，是数字经济的时代。数据已成为企业和社会最宝贵的资产。在这片前景广阔的领域里，数据发展的历史长河埋藏了怎样的机遇？在未来，数据技术将往哪些方向演进？数据开发者又该如何在新时代中，找到自己的职业发展的最佳锚点？
点击上方“专知”关注获取更多AI知识! 【导读】推荐系统和数据库技术，一个是偏机器学习数据挖掘相关的应用，一个是偏系统存储相关的技术，这两者在实际中有很大的应用。今天，很高兴邀请到资深算法工程师宋强对此漫谈自己一些工作的独到见解，欢迎阅读~ 科研工作者的前世今生 笔者早年在人工智能领域上进修硕士，研究的方向是推荐系统，虽然最终未能将所学发扬光大，但亦心存敬畏，时常拜读相关著作。随后阴差阳错，人生中的第一份正式工作是从事分布式数据库的研发。受学长相邀，写下一点感悟。 矛盾的心理 人工智能和数据库都是当前的热潮
数据库一年一度的重头戏来了！ 2020年12月21日~12月23日，第十一届中国数据库技术大会（DTCC2020）将在北京隆重召开。大会以“架构革新 高效可控”为主题，设置2大主会场，20+技术专场，将邀请超百位行业专家，重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨，为广大数据领域从业人士提供一场年度盛会和交流平台。 历经十年的积累与沉淀，DTCC见证了整个行业的发展与演变。而腾讯云数据库作为国内知名的数据库厂商，也将带来8场主题演讲，分享这一年腾讯云数据库的思
10多年前我毕业到广州工作，出火车站第一件事就是去路边报刊亭办一张“羊城通”卡用来乘坐公交地铁。 今天路边的报刊亭已十分稀少，“羊城通”也逐渐被扫码、NFC、数字货币等移动支付替换。公交支付的升级只是出行智能化的冰山一角。 艾媒咨询数据显示，中国智慧交通技术支出规模不断增长，2020年中国智慧交通技术支出规模达502.7亿元，同比增长16.26%，预计2021年中国智慧交通技术支出规模将达580亿元，轨道交通、公交、网约车、自动驾驶均在快速发展。 而作为城市出行基础设施的公交出行正在加速智能化，公交支付
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
