在传统数据大集中的环境下,银行核心系统很容易发生故障,而且一旦发生故障,影响面将特别广,带来很大的舆论压力和监管压力,历史上大型商业银行核心系统故障的例子不在少数。而且传统的集中式架构不易扩展,各模块间高度耦合,最终造成核心系统体量太过庞大、业务太过繁重。
导语:读书是一生的功课,技术人通过读书实现自我提升,学习优秀技术沉淀。TEG读书会本期特邀腾讯金融云专家工程师李海翔、TEG计费平台部专家工程师雷海林、MySQL数据库专家姜承尧,为大家带来数据库方向好书推荐。来看看技术大牛在读什么,国庆遇见好书,愿本期书单助您更专业。 李海翔,腾讯金融云专家工程师,从事分布式数据库TDSQL研发工作。出版著作:《数据库查询优化器的艺术 原理解析与SQL性能优化》、《数据库事务处理的艺术 事务管理与并发控制》,广受好评。中国人民大学信息学院工程硕士企业导师。 理论类
光大银行也是很有魄力的,拿出了一个重要的业务系统进行一次试点,做了一次这种分布式架构转型的项目。我有过十余年DBA相关的经验,不过之前接触比较多的主要还是传统的商用型数据库,所以能作为这次项目的推进人,也是我个人在这种新的架构下的一次学习的过程。
分布式数据库已经流行好多年,产品非常众多,其中分布式数据库中间件使用场景最广。本文主要是总结如何基于分布式数据库中间件做数据库架构设计,以充分发挥它的分布式能力。各个中间件产品功能核心原理相同,细节上有些区别。这里仅以阿里云的DRDS为例分析,在产品架构、功能、成熟度和市场占有率上,它都比同行产品有优势。
今天的话题有两层含义,第一层是说相对于我们所熟知的集中式数据库来说,分布式数据库是与之不同的。在做数据库选型的时候,我们要充分的了解其间的不同,才能做出较为科学的决策。我想很多数据库从业人员都了解其中的不同,不幸的是,他们不是数据库选型的决策者,大多数决策者并不了解这一点。
李飞飞,现任阿里巴巴集团副总裁、高级研究员,阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。
克莱顿•克里斯坦森教授在其著作《创新者的窘境》中提出一个有趣的观点:固守既有的成功经验和发展路径,严重阻碍那些昔日霸主开发“破坏性”技术,而新的竞争对手会从难以预测的地方冒出来,改变看似铁板一块的市场格局。
2023年新年伊始,没想到最先到来的是市场的寒意。近一个月,Salesforce、谷歌母公司Alphabet、IBM、SAP等国外大厂纷纷裁员,轰轰烈烈的裁员浪潮下,谁又能独善其身。
TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。
中欧财富是中欧基金控股的销售子公司,旗下 APP 实现业内基金品种全覆盖,提供基金交易、大数据选基、智慧定投、理财师咨询等投资工具及服务。中欧财富致力为投资者及合作伙伴提供一站式互联网财富管理解决方案,自 2015 年成立以来业务持续保持稳健的增长。
作者 | 潘娟 伴随着互联网应用场景逐渐深入到生活的各个角落,为了确保前端用户的使用体验,对互联网产品的后端架构性能提出了更高的需求。如今,开发以及运维人员正在将工作重心和优化重点放在了后端基础设施的可用性、一致性、扩展性、弹性以及全面自动化管理等能够提升效率的技术能力层面。 1 背景:Kubernetes 环境中的微服务与数据库 应用部署的变化 一方面,在处处充斥着大数据以及高并发场景的今天,后台技术人员往往会花费更多精力在解决『大规模业务数据的存储与应用』等问题上,以确保数据库等基础设施能够
银行数据库国产化 围绕“安全可控”的上下求索 从数据库来看,过去我国银行业使用的数据库产品,大多是Oracle和IBM DB2等。现在要想“去IOE”,肯定会任重道远;但只要经历更多场景的验证,提供国际化水平的数据库产品,也不是没有可能。在软件国产化进程加快的大背景下,拥有安全可控的数据库产品将会成为大势所趋。 一些股份制银行以及城商行,在做互联网金融等新兴业务拓展时,已经在试水能安全可控的国产化数据库产品。比如腾讯云数据库TDSQL,作为一款安全可控的金融级分布式数据库,已经在金融、政务行业得到大规模的
“我自己的电脑终于可以直接装ob了啊~随时随地都能玩了,已买桂花同载酒,亦是少年游。”这是OceanBase开源社区的“划水一级运动员五月”几天前发出的帖子。
分布式数据库,已经进入了全面快速发展阶段,这种发展,是与时俱进的,与人的需求是分不开的,因为现在信息时代的高速发展,导致数据量和交易量越来越大。这种现象首先导致的就是存储瓶颈,因为MySQL数据库,实质上,还是一个单机版本的数据库,而只要是单机,就必然会遇到的一个问题就是存储问题,因为存储是硬需求,而CPU和内存如果不够的话,只是性能不好,并不会直接否定方案或者架构。
前文提到异地多活的几种型态和基于OceanBase实现方案。这里再总结一下基于其他分布式数据库(MySQL)实现异地多活时要考虑的点。本文不讨论为什么做异地多活,可以参考末尾的文章。
近些年来,国产数据库成为较热门的话题。有越来越多的公司考虑采用国产数据库产品。近期在与twt社区的互动中,发现有大量相关的讨论,关注度也较高。特将自己回答的部分问题摘录如下,也算是对若干热点问题的个人观点。
首先数据库技术发展的基础还是在业务推动的背景下,能够实现相关的技术保障。业务需求的提升必然会在数据量,访问量等方面有更高的要求,而映射到数据库层面就不是简单的扩容和添加资源了,我们有时候更需要弹性,需要快速实现,需要更高的性能。这些都是摆在我们面前的问题,而不仅仅是DBA团队。 所以早期的很多数据库,从一主一从,一主多从的架构,逐步演变到了读写分离,分库分表,然后就是分布式。而同时从很多层面来说,行业内的方案真是百花齐放,记得前几天还和同事聊,说如果对比一下Oracle和MySQL,
聊分布式数据库之前,先看看数据库的由来。我对数据库的最初认知来自于大学所学的一本书籍《数据库系统概论》(王珊 萨师煊版本),下面开始聊聊数据管理。
在数据库的领域尤其是国内,专门搞单体方面的数据库公司是越来越少,基本上大部分都在搞或正要搞分布式数据库. 分布式数据库不光是专业的数据库公司在做, 各大银行也有在搞自己的分布式数据库. 如题,为什么现在都在搞"高大上" 的分布式数据库. 其实要说清这个问题,本身可能和数据库没有太多的关系.
2019数据技术嘉年华于11月16日在京落下了帷幕。大会历时两天,来自全国各地上千名学术精英、数据库领袖人物、数据库专家、技术爱好者在这里汇聚一堂,围绕“开源 • 智能 • 云数据 - 自主驱动发展 创新引领未来”的大会主题,共享"开源自研,云和数据,智能运维,智能业务,数据前沿,用户实践"六大主题盛宴。
简单来说,TiDB 是一个分布式高可用且能够水平扩展的关系型数据库,这个数据库的内核包含三个组件,其中的 SQL 层组件的名字也叫做 TiDB。这个组件负责所有和 SQL 计算相关的事情以及和客户端(业务)之间的交互,这是一个承上启下的核心模块。除了负责 TiDB 组件之外, TiDB 团队还负责开发与其他数据库之间的数据迁移和同步组件,比如 TiDB 自身的 Binlog 模块以及读取 MySQL 之类数据源 Binlog 的组件。
仅凭嘴皮子,很难让初学者有个直观的印象,那么我就用非常受欢迎的漫威人物钢铁侠来解释下:
今天我会围绕以上几个方面展开:首先,为什么要选这个项目来做,我自己没学过数据库,而且在当时也没用过。项目诞生之后很快就遇到了生存危机,危机之后找到一些发展机会。我经常跟很多人讲,数据库跟图书馆书架特别像,数据库其实就是个数字图书馆,大家想想看在一个块里插一套记录,是不是就相当于插一本书进去把别人的书往后挪一下。 李国杰院士跟我讲:“最好的东西就是ACID,最糟糕的东西也是它”。之所以糟糕,是因为最不好做,最难的也在这里。关系数据库能做很多事,它的核心是具备了三个能力——记账、转账、算账,因为数据库就是在这
那你再想一下,你当下的业务用 MySQL 做主存储还能支撑多久,如果业务量暴增,你能怎么做,愿意花多大价钱进行扩容?
在 2023 年 10 月 21 日,MySQL 5.7将达到其生命周期的终点(EOL,End of Life)。这意味着Oracle将不再为MySQL 5.7提供官方更新、错误修复或安全补丁。
此前,金融信息化建设主要依托原有集中型 IT 架构进行维护扩展,系统规模及复杂程度呈指数级增长,各类瓶颈逐渐暴露,日益增长的数字金融需求同旧式的系统架构缺陷之间的矛盾愈加凸显。
单体数据库时代,随着系统交易量的不断上升,数据库读写性能出现了严重下降。我们可以借助分库分表中间件,比如mycat、shardingjdbc来实现分库分表,缓解单库的读写性能。但是分库分表中间件并不支持事务,如果要保证数据一致性,就需要借助于分布式事务中间件,比如阿里巴巴的seata。后来分布式数据库逐渐成为解决数据一致性的选择,目前分布式数据库产品已经比较成熟,支持ACID事务,本文就来聊一聊分布式数据库。
根据国资委 79 号文件,关键行业、关键企业被要求到 2027 年百分百完成信创替代,替换范围包括芯片、操作系统、中间件、数据库等领域。这也意味着:自 2023 年开始,企业将进入信创关键成果期,没有太多试错可能,每一个环节的选型都需要慎重抉择,才有可能在 2027 年完成信创体系的整体建立。
本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一,由 InfoQ 编辑部制作呈现,重点聚焦操作系统在 2021 年的重要进展、动态,希望能帮助你准确把握 2021 年操作系统的核心发展脉络,在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一,将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域,后续将聚合延展成专题、迷你书、直播周、合集页面,在 InfoQ 媒体矩阵陆续放出,欢迎大家持续关注。 特此感谢方勇、黄东旭、李海翔、罗荣龙、杨传辉(花名日照)(按姓名首字母排序)对本文的贡献,他们的真知灼见,是本文能与大家见面的关键。
2022年1月13日,第十四届中国系统架构师大会(SACC2022)将在线召开,各位小伙伴足不出户就可以参会啦! 本次大会以“数字转型 架构重塑”核心主题,特设腾讯云数据库专场,多位腾讯云数据库技术大咖将带来腾讯云MySQL数据库产品架构、腾讯云图数据库KonisGraph与DBbridge产品演进的精彩分享,并深入解读TDSQL开源版的最新升级,包括从自主研发的HTAP分布式数据库引擎到TDSQL PG版执行器优化、内存管理优化、异地多活、分区表功能升级、可用性工具增强等多方面更新,力争为广大技术爱好者奉
分布式数据库是相对于集中式数据而言的,具备分布式数据管理能力的一种新型数据库软件产品。是面对高性能、大数据量业务系统,特别是无法进行大规模重构的业务系统,实现分布式能力引入的一种有效解决方案。分布式数据库具备数据分片管理、分布式事务、读写分离等关键分布式能力,能够为应用提供类似与集中数据库的使用方式,可以降低应用实施分布式改造的复杂度。近年来,各国产厂商都在积极推进分布式数据库产品的研发,技术已经逐步成熟,金融行业也已经有成功案例投入生产系统使用。本文尝试从多个角度,阐述金融行业分布式数据库转型所面临的问题及解决思考。
关系型数据库指的是使用关系模型(二维表格模型)来组织数据的数据库,由二维表及其之间的联系所组成的一个数据组织。
数据库的发展从早期的单机数据库,到现在的分布式数据库。在单机数据库时代,所有的数据都存储在单机中,随着计算机技术的发展,开始出现了多台计算机联合处理数据的需求,从而诞生了分布式数据库。
本文作者为 PingCAP 联合创始人兼 CTO 黄东旭,将分享分布式数据库的发展趋势以及云原生数据库设计的新思路。
1.分布式应用的概念和优势 分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上,以获得更大的存储容量和更高的并发访问量。近年来,随着数据量的增长,分布式数据库技术也得到了快速的发展,传统的关系型数据库开始从集中式模型向分布式存储,从集中式计算走向分布式计算。 分布式数据库系统的主要目的是容灾、异地数据备份,并且通过就近访问原则,用户可以就近访问数据库节点,这样就实现
面对互联网业务的不断深化以及业务量的爆发式增长,传统数据库架构迎来了前所未有的挑战和变革。
云数据库因其强大的安全性与便利性,受到广大企业的一致好评。分布式数据库作为云数据库的其中一种类型也是非常受欢迎的。现在我们就来讲讲分布式数据库的含义与腾讯云分布式数据库排名。
| 大咖介绍 苏强,腾讯云数据库资深产品经理,拥有多年ToB产品策划、产品运维经验。曾在多个知名企业任职产品经理,主导或参与多款业内知名的B端产品从0到1过程,部分主导产品已实现同类产品占有率第一。接手腾讯分布式数据库以来,主要负责腾讯云分布式数据库功能策划、市场能力建设、服务支撑能力建设和团队建设等。 ---- 大家好,我是来自腾讯云的苏强。从腾讯云分布式数据库商用那天起,我就在分布式数据库团队里,所以可以很自豪地说,我是最了解腾讯云分布式数据库的人之一。今天我将和大家分享近两年来分布式数据库在金融行业
数据库选型一直是困扰客户的难题,不仅要考虑底层的数据库技术,还需要结合企业业务特点、企业未来规划做决策。如何快速掌握数据库选型秘诀呢?答案无疑是看市场怎么做,看市场的同行是如何选择的。 近期,腾讯云数据库TDSQL助力福建海峡银行新一代核心业务系统正式上线(点击查看详情),为城商行提供核心改造解决方案。新核心关键业务系统采用“微服务+分布式”架构,改造历时14个月,依托腾讯云企业级分布式数据库TDSQL良好的兼容性、成熟的迁移能力和技术服务支持,海峡银行快速完成了核心系统的国产数据库替换,并基于腾讯云数据库
阅读字数: 2739用时: 10分钟 本文内容来源于彭旸在OSC源创会上海站上的主题演讲,IT大咖说为与开源中国合作的视频知识分享平台。 内容摘要 对于真正企业级应用,需要分布式NoSQL/NewSQ
TDSQL分布式实例通过Proxy接口提供和mysql兼容的连接方式,用户通过IP地址、端口号以及用户名、密码进行连接:
tidb这个技术名词很多同学或多或少都曾经耳闻过,但是很多同学觉得他是分布式数据库,自己的业务是使用mysql,基本使用不上这个技术,可能不会去了解他。最近业务上有个需求使用到了tidb,于是学习了一下基本原理,会发现这些原理其实不仅仅局限于分布式数据库这一块,很多技术都是通用的,所以在这里写一下分享一下学习tidb的一些心得。
墨墨导读:2020数据技术嘉年华于11月21日落下帷幕,大会历时两天,来自全国各地的数据领域学术精英、领袖人物、技术专家、从业者和技术爱好者相聚北京,见证了个人的快速成长、技术的迭代进步、行业的蓬勃发展、生态的融合共赢,以及市场的风云变迁。
随着全球经济下行压力增大,中美贸易摩擦愈演愈烈,美国一系列的经济制裁和技术封锁使得我们有种被扼住咽喉的感觉,数据库作为基础软件中的重要一环有着很深的技术含量,在这样的大背景下国产数据库厂商开始发力,这其中分布式数据库如雨后春笋般出现,良性的竞争环境使它们都得到了长足的发展,其中不乏优秀的产品,本文主要挑选目前几个相对成熟数据库进行架构特点介绍。
最近与同行科技交流,经常被问到分库分表与分布式数据库如何选择,网上也有很多关于中间件+传统关系数据库(分库分表)与NewSQL分布式数据库的文章,但有些观点与判断是我觉得是偏激的,脱离环境去评价方案好坏其实有失公允。
前两天 GitHub 的博客上发布了一篇题为「Partitioning GitHub’s relational databases to handle scale」[1] 讲述他们如何拆分自己的数据库。相关内容在 Hacker News[2] 上也引起了大家的关注。
领取专属 10元无门槛券
手把手带您无忧上云