首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    618数据洪峰来了 一键下单背后都有哪些技术支撑?

    618大促来临,在零点的时候,你打开购物车、点点点、清空,整个过程一气呵成。但背后,成千上万的数据在马不停蹄、加速流转,以保障消费体验流畅有序。 腾讯云和数据库服务是背后默默守护的“无名英雄”。电商订单、支付、物流等核心链路,都是以数据库为基础。一旦数据库成为瓶颈、或任何细微的疏忽,整个618大促将会变成一个大型“灾难现场”。 一场电商大促,涉及到的数据量有多大? 以一个消费者的购买过程为例,一次下单行为,对于后端数据库就有多次读写调用;如果是秒杀场景就会产生“热点更新”的问题,更是对数据库内核优化能力

    03

    金融数字化转型落地实践,腾讯云数据库的三问三答

    近期,由中科软科技股份有限公司主办,以“数字保险 科技引擎”为主题的“中国财险科技应用高峰论坛”在北京古北水镇成功举办。论坛聚集400多位来自国内财险公司、国内外保险科技公司的技术专家,腾讯云数据库总经理王义成受邀参加,并作为开场嘉宾做主题演讲,分享腾讯云数据库在金融领域的探索实践。以下为大会分享实录: 各位保险业的同仁大家上午好,非常荣幸参加保险专场来给大家分享腾讯云数据库助力企业数字化落地的实践。今天,以数据库为主的基础软件,正在受到各行各业的重点关注。 在数据库行业从事十几年的历程中,我从研发到产品

    03

    深度:为什么中国数据库领域没有出现像Snowflake这样的巨头?

    全球数据库产业正经历蓬勃发展。尽管我们已经迈入了由生成式 AI 大模型所推动的科技新时代,但数据库行业依然表现强劲,其中的向量数据库等细分赛道也受到广泛关注。毕竟,数据库是管理数据的地方,对于任何企业来说都是刚需产品。在美国,数据库行业从 20 世纪 70 年代开始发展,Oracle 和 Db2 在当年两强争霸。过去十年间,AWS、Snowflake、MongoDB 等公司引领了云数据库时代,为数据库领域开辟了全新的未来。在中国,云数据库的概念也逐渐兴起。PingCAP 是中国数据库行业的先行者,自 2015 年成立以来,积累了大量用户,并在全球范围内展开了商业化征程。Snowflake 上市后,BAT 等大厂的大佬们纷纷选择了离职创业,拿着大量融资打造中国版的 Snowflake。

    01

    多租户技术

    独立数据库 这是第一种方案,即一个租户一个数据库,这种方案的用户数据隔离级别最高,安全性最好,但成本也高。 优点: 为不同的租户提供独立的数据库,有助于简化数据模型的扩展设计,满足不同租户的独特需求; 如果出现故障,恢复数据比较简单。 缺点: 增大了数据库的安装数量,随之带来维护成本和购置成本的增加。 这种方案与传统的一个客户、一套数据、一套部署类似,差别只在于软件统一部署在运营商那里。如果面对的是银行、医院等需要非常高数据隔离级别的租户,可以选择这种模式,提高租用的定价。如果定价较低,产品走低价路线,这种方案一般对运营商来说是无法承受的。 共享数据库,隔离数据架构 这是第二种方案,即多个或所有租户共享 Database,但是每个租户一个 Schema。 优点: 为安全性要求较高的租户提供了一定程度的逻辑数据隔离,并不是完全隔离;每个数据库可以支持更多的租户数量。 缺点: 如果出现故障,数据恢复比较困难,因为恢复数据库将牵扯到其他租户的数据; 如果需要跨租户统计数据,存在一定困难。 共享数据库,共享数据架构 这是第三种方案,即租户共享同一个 Database、同一个 Schema,但在表中通过 TenantID 区分租户的数 据。这是共享程度最高、隔离级别最低的模式。 优点: 三种方案比较,第三种方案的维护和购置成本最低,允许每个数据库支持的租户数量最多。 缺点: 隔离级别最低,安全性最低,需要在设计开发时加大对安全的开发量; 数据备份和恢复最困难,需要逐表逐条备份和还原。 如果希望以最少的服务器为最多的租户提供服务,并且租户接受以牺牲隔离级别换取降低成本,这种方案最适合。

    02

    MyCat:第四章:Mycat中的概念

    Mycat中的概念 数据库中间件 前面讲了Mycat是一个开源的分布式数据库系统,但是由于真正的数据库需要存储引擎,而Mycat并没有存储引擎,所以并不是 完全意义的分布式数据库系统。 那么Mycat是什么?Mycat是数据库中间件,就是介于数据库与应用之间,进行数据处理与交互的中间服务。由于前面讲的对数 据进行分片处理之后,从原有的一个库,被切分为多个分片数据库,所有的分片数据库集群构成了整个完整的数据库存储。 如上图所表示,数据被分到多个分片数据库后,应用如果需要读取数据,就要需要处理多个数据源的数据。如果没有数据库中间 件,那么应用将直接面对分片集群,数据源切换、事务处理、数据聚合都需要应用直接处理,原本该是专注于业务的应用,将会 花大量的工作来处理分片后的问题,最重要的是每个应用处理将是完全的重复造轮子。 所以有了数据库中间件,应用只需要集中与业务处理,大量的通用的数据聚合,事务,数据源切换都由中间件来处理,中间件的 性能与处理能力将直接决定应用的读写性能,所以一款好的数据库中间件至关重要。 逻辑库(schema) 逻辑库(schema) 前面一节讲了数据库中间件,通常对实际应用来说,并不需要知道中间件的存在,业务开发人员只需要知道数据库的概念,所以 数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。 在云计算时代,数据库中间件可以以多租户的形式给一个或多个应用提供服务,每个应用访问的可能是一个独立或者是共享的物 理库,常见的如阿里云数据库服务器RDS。 逻辑表(table) 逻辑表 既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应用来说,读写数据的表就是逻辑表。逻辑表,可以是数据切分后,分 布在一个或多个分片库中,也可以不做数据切分,不分片,只有一个表构成。 分片表 分片表,是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有一部分数据,所有分片构成了完整的 数据。 例如在mycat配置中的t_node就属于分片表,数据按照规则被分到dn1,dn2两个分片节点(dataNode)上。

    非分片表 一个数据库中并不是所有的表都很大,某些表是可以不用进行切分的,非分片是相对分片表来说的,就是那些不需要进行数据切 分的表。 如下配置中t_node,只存在于分片节点(dataNode)dn1上。
    ER表 关系型数据库是基于实体关系模型(Entity-Relationship Model)之上,通过其描述了真实世界中事物与关系,Mycat中的ER表 即是来源于此。根据这一思路,提出了基于E-R关系的数据分片策略,子表的记录与所关联的父表记录存放在同一个数据分片 上,即子表依赖于父表,通过表分组(Table Group)保证数据Join不会跨库操作。 表分组(Table Group)是解决跨分片数据join的一种很好的思路,也是数据切分规划的重要一条规则。 全局表 一个真实的业务系统中,往往存在大量的类似字典表的表,这些表基本上很少变动,字典表具有以下几个特性: • 变动不频繁 • 数据量总体变化不大 • `数据规模不大,很少有超过数十万条记录。 对于这类的表,在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关联,就成了比较棘手 的问题,所以Mycat中通过数据冗余来解决这类表的join,即所有的分片都有一份数据的拷贝,所有将字典表或者符合字典表特 性的一些表定义为全局表。 数据冗余是解决跨分片数据join的一种很好的思路,也是数据切分规划的另外一条重要规则。 分片节点(dataNode) 分片节点(dataNode) 数据切分后,一个大表被分到不同的分片数据库上面,每个表分片所在的数据库就是分片节点(dataNode)。 节点主机(dataHost) 数据切分后,每个分片节点(dataNode)不一定都会独占一台机器,同一机器上面可以有多个分片数据库,这样一个或多个分片 节点(dataNode)所在的机器就是节点主机(dataHost),为了规避单节点主机并发数限制,尽量将读写压力高的分片节点 (dataNode)均衡的放在不同的节点主机(dataHost). 分片规则(rule) 分片规则 前面讲了数据切分,一个大表被分成若干个分片表,就需要一定的规则,这样按照某种业务规则把数据分到某个分片的规则就是 分片规则,数据切分选择合适的分片规则非常重要,将极大的避免后续数据处理的难度。 全局序列号(sequence) 全局序列号(

    01
    领券