OLTP 和 OLAP 技术栈曾因大数据系统规模问题分道扬镳。但是随数字化技术落地到千行百业,复杂的业务场景产生海量数据,即使是相对成熟的 OLTP 产品也无法满足业务对于实时分析的需求,于是 OLAP 技术快速发展,至 Gartner 正式提出了 HTAP 这一概念,到如今呈现出 HTAP 理念大火的局面。 虽然 HTAP 概念已经普及很长时间,但是业内对于 HTAP 的理解不同,国内几款代表性的 HTAP 数据库技术路线也不尽相同。开发者应该如何理解 HTAP?什么才是开发者友好的 HTAP?想要了解什
最近,在数据库行业对HTAP(混合事务/分析处理,Hybrid Transactional/Analytical Processing)这个概念宣传的非常火爆,也衍生出 Real-Time HTAP的说法,主要是因为随着IT行业的发展,很多用户的复杂业务已不再是单纯的OLTP或者OLAP场景,而是二者皆有的混合场景。很多数据库厂商为了响应这样的需求,同时也为了更好的宣传旗下数据库的适用性足够广泛,就纷纷打出可同时支持OLTP和OLAP的混合负载,即支持HTAP的宣传语。 当我们在网络上去搜索“HTAP”关键字,相关信息很多会提到分布式/集中式架构、传统数据库/新型数据库等等概念,本文就从这些相关概念来切入,抛砖引玉,试着理清面临如今众多的数据库,对于有HTAP需求的用户,究竟该如何理性的选择。
近日,TiDB Cloud 正式上线 Google Cloud Marketplace,现在,Google Cloud 全球用户能够通过 Google Cloud Marketplace 搜索、发现和订阅 TiDB Cloud 服务,将为全球用户带来全新的一栈式实时 HTAP 数据库体验。
2020年7月13日,腾讯自研的分布式HTAP数据库TBase正式发布了开源V2.1.0版本,作为开源后的首次重大版本升级,TBase开源V2.1.0版本提供了许多令人兴奋的新特性,旨在通过更加丰富的维护与管理功能,提升大家的使用体验;同时,致力于更大限度地节省系统运行中的资源消耗,实现单位资源内的性能最大化;此外,TBase面向多中心多活架构的能力也得到了更进一步的增强。 为了方便大家对此次版本升级有更全面的了解,本文将对TBase开源V2.1.0版本的一些新特性及功能优化进行概括性解读。更详细、
4 月 7 日至 8 日,由全球分布式云联盟、亚太 CDN 产业联盟、众视 Tech 主办的 2021 GDCC 全球分布式云大会在北京举行,PingCAP 联合创始人兼 CTO 黄东旭受邀参会发表演讲。同时,大会现场表彰了在分布式云领域做出卓越贡献的企业,PingCAP 获得分布式数据库领导力奖。
“HTAP”作为数据库领域的当红炸子鸡,其热捧度逐年递增。特别是在随着国产化数据库浪潮逐渐替代原有数据库架构的进程中,业务系统中各类的复杂数据查询与在线交易交织的场景需求日益增多,使得业务对数据库HTAP的能力要求逐渐严格起来。
2012 年开始,由腾讯内部业务适配而衍生的自研分布式数据库 TDSQL 正式诞生。2020年12月,腾讯云数据库三大产品线统一升级,将 TDSQL、CynosDB(现为TDSQL-C)、TBase (现为TDSQL PG版)统一至全新的 TDSQL 系列中。砥砺前行十余载,这家互联网厂商在数据库领域立下一座座丰碑,腾讯云TDSQL 每次都能精准踩点的秘诀是什么? 1 腾讯云 TDSQL 的前世今生 要想真正的了解腾讯云 TDSQL,首先要了解其发展历程。TDSQL 发展经历了四个发展阶段: 第一阶段:2
本文由 PingCAP 联合创始人兼 CTO 黄东旭撰写,基于亲身经历的数据库行业,深度总结过去一年数据库发展的重要趋势,以及展望 2023 年数据库新方向,希望对更多的行业从业者有所启发。
分布式HTAP数据库(TencentDB for TBase)是腾讯自主研发的分布式数据库系统,集高扩展性、高SQL兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力于一身。腾讯已2019年11月正式开源TBase,截止目前,TBase在GitHub上的Star数已超过800个,Fork数近200。看来大家的关注度还是蛮高的。7月13日,TBase重磅发布了开源版本2.1.0,代码已上传至github:https://github.com/Tencent/TBase。据说该版本在多活分布式能力、性能、安全性、可维护性等多个关键领域得到全面的增强和升级。于是小编我也迫不及待来体验一把。
近日,企业级开源分布式数据库厂商平凯星辰与教育部教育管理信息中心达成合作,TiDB 分布式数据库为全国中小学管理服务平台提供全栈服务。双方将携手深入探索领先的数据库技术在教育行业的新场景与新应用,既夯实教育数字化底座,助力普惠教育数字化 。
2022 年,我们一起穿越了许多荆棘时刻,面对着前所未有的不确定性。在这些挑战面前,我们发现技术和开发者扮演了重要角色。 技术为我们提供了穿越周期的桥梁,开发者帮助我们更好地应对挑战,解决问题并赋予这个世界更多创造力 。 PingCAP 也在过去一年迎来了新的进化,岁末年初,我们想邀请你共同回顾属于 PingCAP 用户和开发者的 2022 年度记忆。
开源生态正在经历前所未有的繁荣。 今年 3 月,“开源”首次被明确列入国民经济和社会发展五年规划纲要。纲要提到,加快布局量子计算、量子通信、神经芯片、DNA 存储等前沿技术,加强信息科学与生命科学、材料等基础学科的交叉创新,支持数字技术开源社区等创新联合体发展,完善开源知识产权和法律体系,鼓励企业开放软件源代码、硬件设计和应用服务。 对开源社区的支持,对完善开源底层基础设施的规划以及对企业开源的鼓励,为开源生态的长远发展和繁荣注入一剂强心针。二季度以来,开源领域也发生了一些大事,如阿里云开放关系型数据库
本文根据微众银行资深数据库架构师黄蔚在 DevCon 2022 上的分享整理,主要讲述了微众银行对于 HTAP 架构的探索和实践情况,以及提升大规模分布式数据库运维效率的经验。
在各种因素的推动下,分布式数据库已经成为一种技术潮流,甚至是新基建很重要的一部分,该类型数据库也在众多行业进行了广泛落地,供需两旺。分布式数据库的架构设计思想也很值得广大开发者学习。本文,InfoQ 希望呈现有关分布式数据库的架构设计优化及实践相关内容。
本文回顾了 PingCAP 创始人兼 CEO 刘奇在 9 月 22 日的 用户峰 会 上以《现在决定未来》为主题的演讲, 分享了 PingCAP 在技术演进、用户价值、数据库技术趋势、国际化、社会价值等方面的思考, 同时也记录了建信金科、百胜中国、传音控股、老虎国际等用户在刘奇的演讲中分享的最佳实践。全文字数约 8,800,预计阅读时间 20 分钟。
12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《使用 TiDB 列存引擎进行实时数据分析》的主题演讲。
最近的几年中,HTAP 数据库成为了一个时髦词汇,言必称 HTAP 也成了很多数据库领域从业者的风潮。如何打造一款 HTAP 数据库,从架构层面出发,去应对未来的变化,拥抱变化,也是很多数据库公司所一直在探索的。
随着数字经济的快速发展,数据已成为重要生产要素,挖掘数据价值成为了用户的普遍需求。HTAP(混合事务和分析处理)是近年来提出的一种新型的数据库架构,旨在打破事务处理和分析之间界限, 在一份数据上保证事务处理的同时支持实时分析,并且可以灵活配置两种负载的资源占比,使得在线交易和分析互不影响,并可以分别实现线性扩展,一站式地解决企业级应用的各种需求,从而大幅度降低成本,同时提高了企业决策的效率。当前,HTAP 已成为数据库发展的前沿领域。
编者: 本文中报告,关注 “数据和云” 回复:下载。可以找到下载链接。 2021年12月,墨天轮社区发布了由CCF数据库专委会、清华大学和墨天轮社区共同撰写的《数据库系统的分类和评测研究》,这个报告的初衷是希望通过对数据库产品的分类、评测、发展等方向的研究,为行业提供参考和促进。 感谢执笔人李国良,李战怀,彭智勇,盖国强,感谢清华大学、西北工业大学、武汉大学、云和恩墨、华为、阿里云、腾讯云、京东云、 虚谷伟业、PingCAP、巨杉、建设银行、民生银行、哈尔滨银行、浙江移动等企业和单位的专家的共同参与和支持。
分布式关系型数据库集分布式技术和数据库技术为一体,像Paxos/Raft和2PC已经是基础能力,不再赘述,这里主要是记录下一些较为脑洞的想法。为了简化,后面简称为分布式数据库。
本项目由PingCAP投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。
在“国产化”和“新基建”浪潮下,腾讯云与新炬网络积极开展合作,共同推动数据库的国产化进程,日前,新炬网络在腾讯云数据库领域已经获得了多名工程师认证,并成功为众多客户提供了数据库迁移改造、运维优化等服务。下一步,新炬网络将继续与腾讯云携手,加速推进国产数据库的发展和落地应用。 一、新炬网络多名员工率先通过腾讯云数据库TCP工程师认证 由腾讯云推出的数据库培训认证——数据库交付运维工程师-腾讯云TBase认证(TCP)一经发布,新炬网络的多名员工便率先通过了此项认证,并获得由官方颁发的证书。 数据库交付
2022 年 11 月 1 日,企业级开源分布式数据库厂商 PingCAP 在 HTAP Summit 上宣布 TiDB Cloud Serverless Tier BETA 版正式发布 ,这是一种完全托管的全自动 HTAP 数据库服务,使开发者能够以最经济的方式部署其基础设施。
TBase是腾讯云国产企业级分布式HTAP数据库,可完美适用于拥有海量数据、高并发、高HTAP,以及分布式事务能力的应用场景。为构建开发者生态,与开发者共同进步,TBase已于2019年11月正式开源,截止目前,TBase在GitHub上的Star数已超过800个,Fork数近200。
茄子科技(海外 SHAREit Group)是一家全球化互联网科技公司,主要从事移动互联网软件研发与全球移动广告变现解决方案、跨境支付解决方案等互联网服务等业务。茄子快传(SHAREit)是茄子科技旗下的代表产品, 是一款一站式数字娱乐内容与跨平台资源分享平台,累计安装用户数近 24 亿。茄子科技作为一家出海企业,已经在东南亚、南亚、中东以及非洲等地区,打造了多款工具和内容的应用,并且在 Google Play 的下载榜上常年名列前茅。
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本;那边厢OceanBase也紧跟着推出3.0版本,主攻方向亦是HTAP分布式数据库,在GitHub Oceanbase标注自己为“ The leading Scalable HTAP Database” , 并且又玩了一把TPC-H打榜第一的套路(后续:其成绩很快被超过)。
本文根据王义成在【第十三届中国数据库技术大会(DTCC2022)】线上演讲内容整理而成。
数据库,一个让人熟悉又陌生的名字。陌生在于大多数人的不明所以,但它在日常生活中却是司空见惯。
作为数据基础设施的重要组成部分,数据库在其中扮演着重要的角色。近些年来,数据库整体发展也呈现出较之以往很大的不同。其一、是开源数据库受到更为广泛的关注,从多家机构的最新报告来看,开源数据库无论从产品数量还是受关注程度都超过商业数据库。开源这一新模式,正成为未来数据库发展的主流。其二、是云计算成为未来主要资源供给方式得到普遍共识。已经有越来越多的企业选择在云上构建基础环境,包括云上数据库的发展速度也远高于非云环境。据乐观估计,在未来5~10年云数据库将占据整体数据库市场的七成以上。此外,对迁移到公有云、使用多云环境等问题,也普遍被企业所接受。其三、是数据融合趋势,针对数据多场景应用,使用融合技术简化访问,提升效率。作为数据使用高地,金融行业一方面对数据库有着极高的要求,一方面又面临很多来自数据新的挑战,诸如海量规模、高并发、数据安全、实时分析等诉求亟待解决。分布式数据库的出现,迎合这一发展趋势,对于金融企业解决上述问题带来新的解决思路。本文从金融用户角度入手,对如何选择分布式数据库及选型后的最优实践进行阐述。
21世纪,是数字经济的时代。数据已成为企业和社会最宝贵的资产。在这片前景广阔的领域里,数据发展的历史长河埋藏了怎样的机遇?在未来,数据技术将往哪些方向演进?数据开发者又该如何在新时代中,找到自己的职业发展的最佳锚点?
本文介绍了某国有大行推出的本地生活服务类 APP 在数字时代的创新应用实践。该 APP 利用金融科技和互联网平台模式,打造“金融+非金融”的线上生态服务平台,满足了用户多样化的生活需求。为应对用户增长和数据量增加带来的挑战,该 APP 决定采用新一代 HTAP 数据库 TiDB 替换原系统中的 Oracle RAC,以提升整个系统的处理能力、扩展能力和服务能力。 文章介绍了 TiDB 带来的优势和应用价值,包括灵活的扩展能力、无需分库分表、金融级高可用能力等,帮助该平台提升了用户体验,增强了业务竞争力。
7 月 13 日,PingCAP 用户峰会 2023 在北京西南华邑酒店成功举办。
近日,全球权威信息技术研究与咨询机构 Gartner 发布了云数据库市场领域 2023 Gartner® Peer Insights™“Voice of the Customer” 报告,PingCAP 在报告中获得的客户总体评分达到 4.9 分(满分 5 分),在所有入选企业中位列第一,连续两年获评“卓越表现者”最高分。
随着互联网的高速发展,目前数据的存储越来越多,传统的数据库逐渐不能满足人们对海量数据、高效查询的需求,国产的数据库如雨后春笋一样,一个个冒了出来来解决我们高速科技发展的数据库瓶颈,今天就给大家聊一聊目前最火的五款国产数据库,大家一起来学习一下。
编者注:本系列选择行业分析报告进行分享,关注“数据和云”公众号回复:下载 。可以找到下载链接。 头豹研究院在2022年6月发布了,《2022年中国数据库产品策略解析报告》,对中国数据库产品技术进行了分析探讨,其中的技术总结值得一览,本文摘要进行分享。 ---- 数据模型是数据库系统的核心和基础,各种数据库都是基于不同的数据模型而生的, 对数据库技术发展阶段的划分基本按照数据模型的发展演变作为主要依据和标志。 评注:数据模型分类法,是数据库进行分类的第一个维度,墨天轮排行榜即按此作为第一分类。 数
2024年4月12日-13日, 第十三届数据技术嘉年华(DTC 2024)在北京落幕,腾讯云数据库受邀出席,与参会者深入探讨了数据库未来发展趋势和腾讯云数据库全面赋能企业创新的实战经验。
数据存储和处理是一个古老而重要的技术,从远古时期的结绳记事到古人的文本记事,再到计算机诞生后的各种系统,直到E.F.Codd提出关系模型,人类终于有了一种相对高效而统一的数据处理系统——关系数据库。
国际知名调研机构沙利文联合头豹研究院发布了《2021年中国分布式数据库市场报告》,报告显示:腾讯云数据库入选Frost Radar (弗若斯特雷达)领导者象限,增长指数排名第一。为帮助广大数据库爱好者进一步了解报告内容,洞察数据库发展趋势,腾讯云数据库邀请沙利文中国高级分析师胡竣杰解读最新报告。以下为解读视频及文字实录: 大家好,我是沙利文高级分析师胡竣杰,我将从四个方面的内容解读沙利文最新发布的2021年中国分布式数据库市场报告,分别为:中国分布式数据库的行业综述、分布式数据库技术发展概览、分布式数据库市
随着业务规模的扩大,传统数据库面临诸多限制,分布式数据库成为解决之道。本文 介绍了北京银行在数字化转型过程中对分布式数据库技术的探索,分享了 TiDB 在北京银行的应用历程和未来展望 。
近年来,国产数据库技术迅速发展,得到了广泛应用和认可。中国的数据库市场由传统的外资品牌主导,逐步转向国产数据库。随着国家信息安全战略的推进,以及云计算、大数据、人工智能等新兴技术的快速发展,国产数据库在性能、可靠性、安全性等方面不断提升,逐步缩小与国际领先技术的差距。
WOT(World of Tech)全球技术创新大会是由51CTO开创的综合性高端技术会议品牌,致力于展现国内外技术领域热点趋势、搭建全球技术人的深度分享交流平台、推动先进技术的场景落地与行业融合。自2012年首次举办以来,WOT已在十年间通过十八场高质量技术盛会的输出,累计影响了数千家科技企业与数万名一线技术人员。
五年前创业的出发点其实很朴素:做一个更好的分布式数据库。从学术的角度上看起来,并不是提出了什么惊天地泣鬼神的神奇算法,我们选择的 Shared-nothing 的架构其实在当时的业界也不是什么新鲜的事情了,但真正令我激动的是:我们要造的是一个真正能作为整个系统的 Single Source of Truth 的基础软件。这句话怎么理解呢?我在后边会好好聊聊。
本篇将带大家速览我司各个研发团队的定位和分工,并回答一个热门问题「在 PingCAP 工作是什么样的体验?」
“当用户使用软件时,会需要面对的两个鸿沟:一个是执行的鸿沟,在这里,用户要弄清楚如何操作,与软件「对话」;另一个是评估的鸿沟,用户要弄清楚操作的结果。” PingCAP 联合创始人兼 CTO 黄东旭在《做出让人爱不释手的基础软件》中提到,“ 我们作为设计师的使命就是帮助用户消除可观测性和可交互性这两个鸿沟。”
腾讯云从 2009 年便开始在内部的业务上进行尝试,在企业分布式数据库领域的自研过程是比较有经验的。当时主要是为了满足一些较小的需求,比如引入PostgreSQL 作为 TDW 的补充,弥补 TDW 小数据分析性能低的不足,处理的需求量也较小。
腾讯云PostgreSQL-XZ(PGXZ)经过公司内部多年业务的打磨,在2017年改名为TBase后,正式对外推出,目前已在政务、医疗、公安、消防、电信、金融等行业等行业的解决方案中大量应用。TBase以其功能强大,运行稳定,高性能高可靠性,以及强大的互联网基因得到客户的普遍认可。
10月20日,一年一度的数据库技术交流盛会——DTCC 2021(第十二届中国数据库技术大会)在京圆满落幕。 大会以“数造未来”为主题,重点围绕数据架构、人工智能与大数据应用、传统企业数据库实践和国产开源数据库等内容展开分享和探讨。 在本次数据库年度盛会交流平台上,腾讯云数据库团队集结多位顶级技术达人亮相,针对当前热门数据库技术主题,共同为大家带来了满满技术干货分享。 错过现场?没关系,一文带你回顾腾讯云数据库大咖演讲要点~ 数造未来 HTAP数据库解决方案、应用实践和未来发展 林晓斌,腾讯云数据库总经理
点击▲关注 腾讯云数据库 数据存储和处理是一个古老而重要的技术,从远古时期的结绳记事到古人的文本记事,再到计算机诞生后的各种系统,直到E.F.Codd提出关系模型,人类终于有了一种相对高效而统一的数据处理系统——关系数据库。 在传统的关系数据处理系统中,习惯把系统按照业务特点分为在线事务处理系统(OLTP)和在线分析处理(OLAP),一般意义上OLTP关注实时在线业务,要求低延时,高吞吐量,总体数据量一般不会特别大;而OLAP系统用来处理大规模数据的报表分析,要求低响应时间。两者因为数据量,查询请求,业
2021 年 4 月 25 日——领先的企业级开源分布式数据库厂商 PingCAP 正式发布面向企业级核心场景的 TiDB 5.0 版本。TiDB 5.0 在性能、稳定性、易用性等方面均取得了巨大进步,并在事务处理、高可用与容灾、安全合规等方面新增多项企业级特性,通过引入 MPP (Massively Parallel Processing,即大规模并行处理)架构成为具备完整 HTAP 能力的分布式数据库,为高成长企业和数字化创新场景提供一栈式数据服务平台。
领取专属 10元无门槛券
手把手带您无忧上云