编者注:本系列选择行业分析报告进行分享,关注“数据和云”公众号回复:下载 。可以找到下载链接。 头豹研究院在2022年6月发布了,《2022年中国数据库产品策略解析报告》,对中国数据库产品技术进行了分析探讨,其中的技术总结值得一览,本文摘要进行分享。 ---- 数据模型是数据库系统的核心和基础,各种数据库都是基于不同的数据模型而生的, 对数据库技术发展阶段的划分基本按照数据模型的发展演变作为主要依据和标志。 评注:数据模型分类法,是数据库进行分类的第一个维度,墨天轮排行榜即按此作为第一分类。 数
关系型数据库指的是使用关系模型(二维表格模型)来组织数据的数据库,由二维表及其之间的联系所组成的一个数据组织。
现如今大量的中小型公司并没有大规模的数据,如果一家公司的数据量超过100T,且能通过数据产生新的价值,基本可以说是大数据公司了 。起初,一个创业公司的基本思路就是首先架构一个或者几个ECS,后面加入MySQL,如果有图片需求还可加入磁盘,该架构的基本能力包括事务、存储、索引和计算力。随着公司的慢慢发展,数据量在不断地增大,其通过MySQL及磁盘基本无法满足需求,只有分布式化。 这个时候MySQL变成了HBase,检索变成了Solr/ES,再ECS提供的计算力变成了Spark。但这也会面临存储量大且存储成本高等问题。
作为数据基础设施的重要组成部分,数据库在其中扮演着重要的角色。近些年来,数据库整体发展也呈现出较之以往很大的不同。其一、是开源数据库受到更为广泛的关注,从多家机构的最新报告来看,开源数据库无论从产品数量还是受关注程度都超过商业数据库。开源这一新模式,正成为未来数据库发展的主流。其二、是云计算成为未来主要资源供给方式得到普遍共识。已经有越来越多的企业选择在云上构建基础环境,包括云上数据库的发展速度也远高于非云环境。据乐观估计,在未来5~10年云数据库将占据整体数据库市场的七成以上。此外,对迁移到公有云、使用多云环境等问题,也普遍被企业所接受。其三、是数据融合趋势,针对数据多场景应用,使用融合技术简化访问,提升效率。作为数据使用高地,金融行业一方面对数据库有着极高的要求,一方面又面临很多来自数据新的挑战,诸如海量规模、高并发、数据安全、实时分析等诉求亟待解决。分布式数据库的出现,迎合这一发展趋势,对于金融企业解决上述问题带来新的解决思路。本文从金融用户角度入手,对如何选择分布式数据库及选型后的最优实践进行阐述。
国产数据库的火热从来不是一夜时间的事情,虽然看起来像是一夜梨花开,但更重要是一直以来源头创新工作的厚积薄发。 6月20日-25日,2021 ACM SIGMOD 即将在西安举行。在今年的SIGMOD会议现场,来自腾讯云数据库TDSQL的大咖们将受邀分享自己的洞见和理论创新成果,展示腾讯云数据库TDSQL在数据库基础创新领域的最新探索和研究成果。 今年,TDSQL相关论文被入选SIGMOD,领域涉及分布式数据库事务处理、存储等关键技术领域,致力于从基础理论层面推动数据库技术创新突破。其中,腾讯云原生数据
2022年2月21日,广西壮族自治区公安厅发布《广西公安大数据智能化一期建设项目云计算平台采购》的公开招标公告,预算 74503000 元。 质疑答复书 2022年3月14日发布质疑答复书桂政采函〔2022〕35号,详细内容如下。 质 疑 人:广州市普博信息科技有限公司 质疑人于2022年3月3日向本中心递交《质疑函》,对广西公安大数据智能化一期建设项目云计算平台采购(GXZC2022-G1-000095-CGZX)的采购文件提出质疑。 质疑事项1:招标文件第二章招标项目采购需求的“用户域云计算平台PaaS
12月16日,在2023开放原子开发者大会上,腾讯云将企业级分布式数据库TDSQL的社区发行版 OpenTenBase 正式捐赠给开放原子基金会,通过开源共创的方式,与上下游产业链以及开发者共同打造繁荣数据库技术生态。
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本;那边厢OceanBase也紧跟着推出3.0版本,主攻方向亦是HTAP分布式数据库,在GitHub Oceanbase标注自己为“ The leading Scalable HTAP Database” , 并且又玩了一把TPC-H打榜第一的套路(后续:其成绩很快被超过)。
2022年3月11日,重庆银行股份有限公司发布《2022年分布式数据库项目》招标公告,采购 260 万元。 货物规格型号及数量:分布式数据库*1套。 具体要求如下: 1、16节点的数据库物理服务器授权(按同城双中心部署架构,共4套独立集群,每套4节点,含数据复制或实时同步许可) 2、4套分布式群集管理配置许可(按同城双中心部署架构计算,含数据库群集管理模块或许可、运维工具、性能分析工具、监控工具) 3、一年原厂7*24维保服务;一年原厂DBA驻场服务及分布式数据库规划与设计服务(交付物包括不限于:《重庆银
导语 | TBase 是腾讯TEG数据平台团队在开源 PostgreSQL 的基础上研发的企业级分布式 HTAP 数据库系统,可在同一数据库集群中同时为客户提供强一致高并发的分布式在线事务能力以及高性能的数据在线分析能力。本文是对腾讯 TBase 专家工程师伍鑫在云+社区沙龙 online 的分享整理,将为大家带来腾讯云 TBase 在分布式 HTAP 领域的探索与实践。 点击视频查看完整直播回放 Part1 TBase分布式数据库介绍 1. TBase 发展历程
11 月 17 日,金山办公登陆科创版,圆了小米集团创始人、金山软件董事长雷军和金山所有员工的“英雄梦”。算下来,从 1999 年以金山办公为业务主体准备上市算起到今天,雷军足足等了 20 年。
OLTP 和 OLAP 技术栈曾因大数据系统规模问题分道扬镳。但是随数字化技术落地到千行百业,复杂的业务场景产生海量数据,即使是相对成熟的 OLTP 产品也无法满足业务对于实时分析的需求,于是 OLAP 技术快速发展,至 Gartner 正式提出了 HTAP 这一概念,到如今呈现出 HTAP 理念大火的局面。 虽然 HTAP 概念已经普及很长时间,但是业内对于 HTAP 的理解不同,国内几款代表性的 HTAP 数据库技术路线也不尽相同。开发者应该如何理解 HTAP?什么才是开发者友好的 HTAP?想要了解什
目前国内数据库产品百花齐放,创业者们身在时代机遇里满怀热情,想要有一番作为。看清客户需求,找准自己的定位非常重要。
聊分布式数据库之前,先看看数据库的由来。我对数据库的最初认知来自于大学所学的一本书籍《数据库系统概论》(王珊 萨师煊版本),下面开始聊聊数据管理。
腾讯云上有许多种数据库产品,本文简单介绍每种产品的介绍,特性,应用场景等,帮助各位根据业务需要选择最适合的数据库。
开源,这一始于计算机编程底层的哲学,现已成为当下软件产业的巨轮。如同工业革命之于经济,开源理念之于前沿技术探索与软件生态建设则起到了无可替代的推动力。
Oracle能在所有主流平台上运行(包括Windows),完全支持所有的工业标准,采用完全开放策略,可以使客户选择最适合的解决方案,对开发商全力支持。
在数据库领域,回顾2017这一年,精彩纷呈,热点不断,而且不乏标志性的事件发生。 如Oracle提出的自治数据库这样的概念,把数据库技术带入一个新世界。其实AI技术应用于数据库由来已久,如AI技术调优数据库的性能、AI技术优化SQL、AI技术自动创建数据库索引(Learned Index)等。但是能把AI和数据库结合使之进入大众视野的,还非“自治数据库”莫属。 再如NDBC(中国计算机学会数据库学术年会)庆祝四十华诞、阿里入股MariaDB、国内类Aurora架构的产品争相发布、数据库事务处理等核心技术
2022 年 11 月 1 日,企业级开源分布式数据库厂商 PingCAP 在 HTAP Summit 上宣布 TiDB Cloud Serverless Tier BETA 版正式发布 ,这是一种完全托管的全自动 HTAP 数据库服务,使开发者能够以最经济的方式部署其基础设施。
程序员,一类把有机食物转化为计算机程序的现代猿人智人。他们的主要工作是用计算机能理解的语言,教会电脑做各种各样人类不想做或者做不好的事情,用一行行代码,为人类的进步和技术的发展添砖Java,据说都喜欢穿格子衫(据说还有一部分喜欢穿女装)。 鲁迅先生曾经说过,世界上本没有双11,败家的剁手党多了,也就有了双11。 而作为为了各大电商平台默默提供背后的支持的程序员们,自然也是需要过节的,顺便还能测试一下自己写的程序,搭建的数据库稳不稳定,好不好用,那么,程序员们在双11,可以买哪些不落俗套的东西,显得
编者: 本文中报告,关注 “数据和云” 回复:下载。可以找到下载链接。 2021年12月,墨天轮社区发布了由CCF数据库专委会、清华大学和墨天轮社区共同撰写的《数据库系统的分类和评测研究》,这个报告的初衷是希望通过对数据库产品的分类、评测、发展等方向的研究,为行业提供参考和促进。 感谢执笔人李国良,李战怀,彭智勇,盖国强,感谢清华大学、西北工业大学、武汉大学、云和恩墨、华为、阿里云、腾讯云、京东云、 虚谷伟业、PingCAP、巨杉、建设银行、民生银行、哈尔滨银行、浙江移动等企业和单位的专家的共同参与和支持。
WOT(World of Tech)全球技术创新大会是由51CTO开创的综合性高端技术会议品牌,致力于展现国内外技术领域热点趋势、搭建全球技术人的深度分享交流平台、推动先进技术的场景落地与行业融合。自2012年首次举办以来,WOT已在十年间通过十八场高质量技术盛会的输出,累计影响了数千家科技企业与数万名一线技术人员。
2022 年,我们一起穿越了许多荆棘时刻,面对着前所未有的不确定性。在这些挑战面前,我们发现技术和开发者扮演了重要角色。 技术为我们提供了穿越周期的桥梁,开发者帮助我们更好地应对挑战,解决问题并赋予这个世界更多创造力 。 PingCAP 也在过去一年迎来了新的进化,岁末年初,我们想邀请你共同回顾属于 PingCAP 用户和开发者的 2022 年度记忆。
随着数字化进程加速,数据的重要性越发凸显。在企业内部,面对庞大的数据体量,繁杂的数据类型,多变的业务场景,如何做好数据治理成为摆在案头的首要议题。
2012 年开始,由腾讯内部业务适配而衍生的自研分布式数据库 TDSQL 正式诞生。2020年12月,腾讯云数据库三大产品线统一升级,将 TDSQL、CynosDB(现为TDSQL-C)、TBase (现为TDSQL PG版)统一至全新的 TDSQL 系列中。砥砺前行十余载,这家互联网厂商在数据库领域立下一座座丰碑,腾讯云TDSQL 每次都能精准踩点的秘诀是什么? 1 腾讯云 TDSQL 的前世今生 要想真正的了解腾讯云 TDSQL,首先要了解其发展历程。TDSQL 发展经历了四个发展阶段: 第一阶段:2
数据库是计算机行业的基础核心软件,所有应用软件的运行和数据处理都要与其进行数据交互。2008年阿里提出“去IOE”,而10年之后,我们现在来看,发现Oracle的数据库是最难替换的。不仅是因为Oracle的数据库沉淀了大量的企业客户数据,更是因为数据库产品开发难度确实比较大。数据库的开发难度不亚于操作系统,属于整个IT架构的基础软件(数据库软件在操作系统之上,我们可以将其称为类中间层的基础软件)。而且数据库的开发需要与底层计算架构高度相关和耦合,是适配X86架构,还是适配ARM架构等等。
在分布式数据库领域中,高性能+强一致性事务是代表数据库水平高低的重要象征,这个领域的代表数据库是Google Cloud Spanner和Azure Cosmos DB以及Apple开源的FoundationDB,YugaByte DB是这个领域的另外一个开源数据库。以下为 YugaByte DB关于开发分布式SQL数据库技术挑战的分享。
12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《使用 TiDB 列存引擎进行实时数据分析》的主题演讲。
腾讯云从 2009 年便开始在内部的业务上进行尝试,在企业分布式数据库领域的自研过程是比较有经验的。当时主要是为了满足一些较小的需求,比如引入PostgreSQL 作为 TDW 的补充,弥补 TDW 小数据分析性能低的不足,处理的需求量也较小。
最近,在数据库行业对HTAP(混合事务/分析处理,Hybrid Transactional/Analytical Processing)这个概念宣传的非常火爆,也衍生出 Real-Time HTAP的说法,主要是因为随着IT行业的发展,很多用户的复杂业务已不再是单纯的OLTP或者OLAP场景,而是二者皆有的混合场景。很多数据库厂商为了响应这样的需求,同时也为了更好的宣传旗下数据库的适用性足够广泛,就纷纷打出可同时支持OLTP和OLAP的混合负载,即支持HTAP的宣传语。 当我们在网络上去搜索“HTAP”关键字,相关信息很多会提到分布式/集中式架构、传统数据库/新型数据库等等概念,本文就从这些相关概念来切入,抛砖引玉,试着理清面临如今众多的数据库,对于有HTAP需求的用户,究竟该如何理性的选择。
在各种因素的推动下,分布式数据库已经成为一种技术潮流,甚至是新基建很重要的一部分,该类型数据库也在众多行业进行了广泛落地,供需两旺。分布式数据库的架构设计思想也很值得广大开发者学习。本文,InfoQ 希望呈现有关分布式数据库的架构设计优化及实践相关内容。
开源生态正在经历前所未有的繁荣。 今年 3 月,“开源”首次被明确列入国民经济和社会发展五年规划纲要。纲要提到,加快布局量子计算、量子通信、神经芯片、DNA 存储等前沿技术,加强信息科学与生命科学、材料等基础学科的交叉创新,支持数字技术开源社区等创新联合体发展,完善开源知识产权和法律体系,鼓励企业开放软件源代码、硬件设计和应用服务。 对开源社区的支持,对完善开源底层基础设施的规划以及对企业开源的鼓励,为开源生态的长远发展和繁荣注入一剂强心针。二季度以来,开源领域也发生了一些大事,如阿里云开放关系型数据库
2020年7月13日,腾讯自研的分布式HTAP数据库TBase正式发布了开源V2.1.0版本,作为开源后的首次重大版本升级,TBase开源V2.1.0版本提供了许多令人兴奋的新特性,旨在通过更加丰富的维护与管理功能,提升大家的使用体验;同时,致力于更大限度地节省系统运行中的资源消耗,实现单位资源内的性能最大化;此外,TBase面向多中心多活架构的能力也得到了更进一步的增强。 为了方便大家对此次版本升级有更全面的了解,本文将对TBase开源V2.1.0版本的一些新特性及功能优化进行概括性解读。更详细、
很多小伙伴在日常接触中接触国产数据库很少,大部分在开发应用上使用的是由甲骨文,微软等公司提供了MySQL,SQLserver。普通程序员很少能用到newSQl数据库,TiDB就是一种newSQL数据库,在大趋势下,向国际对接是避免不了的,但也存在一个问题,近期看到新闻国外某知名数据库厂商宣布称“暂停在俄罗斯的所有业务”,相信很多国内小伙伴的心情,绝不是隔岸观火,而是细思恐极。数据库产品一直都是国内人员的焦点话题,面对现如今全球的“非常时期”,国产数据库到底能不能支棱起来呢?今天呢我就带领大家认识国产数据库TiDB数据库。为什么要介绍TiDB呢,看图说话。
作者介绍: 那海蓝蓝,腾讯金融云数据库技术专家,熟悉PostgreSQL、MySQL、Informix等数据库内核技术,著有《数据库查询优化器的艺术》、《数据库事务处理的艺术》,在业界皆享有“里程碑”式的评价。小编0.7,毕业于北京邮电大学,MySQL社区Oracle Contributor,目前就职于腾讯TDSQL团队,研发分布式数据库。大米,毕业于中国人民大学,目前就职于腾讯TDSQL团队,研发分布式数据库。 责编:仲培艺 在数据库领域,回顾2017这一年,精彩纷呈,热点不断,而且不乏标志性的事件发生。
数据库已经成为企业实现数字化和高质量发展的重要驱动力。9月7日,在2023腾讯全球数字生态大会腾讯云数据库TDSQL技术与实践专场上,腾讯云正式发布TDSQL融合版,并重点分享了TDSQL核心自研能力升级、技术优势、实践应用等多项内容,为广大企业更加高效、低成本推进数字化进程的选型决策提供了有效参考。
嘉宾 |李卫、王南、杨建荣、刘博 编辑 |赵钰莹 随着信息技术的迅猛发展,各行各业产生的数据量呈爆炸式增长,传统集中式数据库的局限性在面对大规模数据处理中逐渐显露,从而分布式数据库应运而生。分布式数据库是在集中式数据库的基础上发展起来的,是分布式系统与传统数据库技术结合的产物,具有透明性、数据冗余性、易于扩展性等特点,还具 备高可靠、高可用、低成本 等方面的优势,能够突破传统数据库的瓶颈。 分布式数据库目前已应用到金融、电信等大数据行业,未来将走向更广阔的领域。本期“数据库 Talk Show”圆桌直
陈现麟,伴鱼技术中台负责人,从 0 到 1 搭建伴鱼技术中台,对分布式架构、服务治理、稳定性建设、高并发高 QPS 系统和中台化的组织架构搭建有一定的经验,崇尚简单优雅的设计,关注云原生和分布式数据库。
回味过去,展望未来,开始分布式数据库探索之旅,首先了解历史,本文大致梳理一下数据库发展过程,从1970年到2018年,数据库的发展过程,仅供参考,交流和学习,感谢您阅读!
北京银行是一家城市商业银行,公司价值位列中国区域性发展银行的首位,依托于中国经济的大环境,北京银行的资产总量在全球千家大银行中名列第 61 位,连续六年跻身全球银行业百强。北京银行积极开辟多元化的业务经营,例如北京地区的社保缴纳和医保代发,都是由北京银行在提供服务,在你入职一家公司的时候,收到的医保折子就是来自北京银行。
随着数字经济的快速发展,数据已成为重要生产要素,挖掘数据价值成为了用户的普遍需求。HTAP(混合事务和分析处理)是近年来提出的一种新型的数据库架构,旨在打破事务处理和分析之间界限, 在一份数据上保证事务处理的同时支持实时分析,并且可以灵活配置两种负载的资源占比,使得在线交易和分析互不影响,并可以分别实现线性扩展,一站式地解决企业级应用的各种需求,从而大幅度降低成本,同时提高了企业决策的效率。当前,HTAP 已成为数据库发展的前沿领域。
腾讯云PostgreSQL-XZ(PGXZ)经过公司内部多年业务的打磨,在2017年改名为TBase后,正式对外推出,目前已在政务、医疗、公安、消防、电信、金融等行业等行业的解决方案中大量应用。TBase以其功能强大,运行稳定,高性能高可靠性,以及强大的互联网基因得到客户的普遍认可。
TBase是腾讯云国产企业级分布式HTAP数据库,可完美适用于拥有海量数据、高并发、高HTAP,以及分布式事务能力的应用场景。为构建开发者生态,与开发者共同进步,TBase已于2019年11月正式开源,截止目前,TBase在GitHub上的Star数已超过800个,Fork数近200。
HTAP系统诞生的初衷,是要打破事务处理和分析处理的界限,使企业能通过HTAP系统更好地发现市场反馈,获得更好的创新。但如何让OLTP和OLAP在系统运行的过程中相互干扰最小,却成了HTAP系统面临的难题。 总体来看,HTAP系统架构的实践可以分成两类:一类是改革,另一类是改良。前者采用One size fits all的策略,用一个大而全的系统同时满足OLTP和OLAP的需求,后者采用One size doesn’t fit all模型,将OLTP和OLAP两种系统组合起来,通过CDC的方式把OLTP上
关注腾讯云大学,了解行业最新技术动态 腾讯云CloudLite-分布式数据库TDSQL认证、腾讯云CloudLite-分布式数据库TBase认证是腾讯云数据库联合腾讯云大学发起的一款初级认证类型。拥有该认证表示您具备一定的腾讯云TDSQL、TBase管理运维能力。通过该认证的同学将会获得腾讯云出具的官方认证证书,适合初级数据库管理员,合作伙伴代理商,初级应用开发人员、销售人员等。 活动时间:11月16日-12月16日 Part1 腾讯云数据库学堂认证体系 1. 腾讯云CloudLite-分布式数据库T
分布式关系型数据库集分布式技术和数据库技术为一体,像Paxos/Raft和2PC已经是基础能力,不再赘述,这里主要是记录下一些较为脑洞的想法。为了简化,后面简称为分布式数据库。
领取专属 10元无门槛券
手把手带您无忧上云