编者: 本系列分析行业动态,关注“数据和云( OraNews )”回复：下载。可以找到文档链接。 公告：云和恩墨大讲堂 + openGauss 成都站，将于2022-08-25 举行，欢迎成都朋友关注。 ---- 近日，墨天轮社区发布了《2022年8月中国数据库行业分析报告-融会贯通，并行不悖》，该报告对中国数据库市场的发展进行了分析。以下从报告中摘录部分描述作为分享。 1. 数据库流行度排行 TiDB、openGauss、达梦 位列三甲 报告首先发布了8月中国数据库流行度排行，在榜单中，TiDB 以59
分布式数据库进入人们的视野已经很久了。相对于传统的集中式数据库，分布式数据库在高性能、高可用、平滑拓展、高可靠、低成本等许多方面具有优势。 但时至今日，关于分布式数据库，似乎一直缺少足够权威和客观的解读。 现在，国家白皮书来了！ 为了明确分布式数据库的概念，梳理分布式数据库的技术体系和应用现状，对未来的技术和应用趋势进行研判，中国软件评测中心牵头组织了腾讯云等厂商参与，调研了国内主要分布式数据库产品厂商，并对部分产品进行了测评，参考了国内外主要研究机构的学术成果，历时半年共同编制了《分布式数据库发展路径研
在各行业爆发式增长的云时代，传统IT架构已无法满足企业需求。国内移动互联网的崛起为国产数据库创造了得天独厚的成长沃土，相比较于传统数据库，国产数据库技术取得了长足进步，也更适用于企业的生产环境和IT系统。 腾讯云始终致力于实现数据库技术的自主可控，帮助企业降低上云成本。作为腾讯自研的分布式数据库之一，TBase可以轻松应对亿级数据的存储、分析和查询，集高扩展性、高SQL兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力于一身，采用无共享的集群架构，轻松应对GB～PB级的海量 HTAP 场景
在各行业爆发式增长的云时代，传统IT架构已无法满足企业需求。国内移动互联网的崛起为国产数据库创造了得天独厚的成长沃土，相比较于传统数据库，国产数据库技术取得了长足进步，也更适用于企业的生产环境和IT系统。
TBase简介 TBase是腾讯数据平台团队在开源的PostgreSQL基础上研发的企业级分布式HTAP数据库管理系统： 具备高性能可扩展的分布式事务能力，支持RC和RR两种隔离级别； 通过安全、管理、审计三权分立体系，提供全方位的数据安全保证机制； 支持高性能分区表，可使得数据检索效率成倍提升； SQL方面兼容2003标准、PostgreSQL语法和常用Oracle函数&数据类型、窗口函数等； 提供大小商户数据分离、冷热数据分离等高效的数据治理能力。 TBase架构 集群中有三种节点类型，各自承
根据数据的使用特征，可简单做如下划分。在选择技术平台之前，我们需要做好这样的定位。
2022 年 12 月 6 日，国际权威研究机构 Forrester 发布了「Forrester Wave™: Translytical Data Platforms, Q4 2022 」报告，企业级开源分布式数据库厂商 PingCAP 作为中国唯一入围的数据库厂商，首次参评该报告即获评“卓越表现者（Strong Performers）”。Forrester 认为， TiDB 采用云原生架构，兼容 MySQL 从而减少了迁移工作量，并同时具备交易处理与数据分析能力，在多模态可扩展性和性能方面与其他供应商不相上下。
7月14日，腾讯云数据库TDSQL PG版的开源版本（开源代号TBase）迎来又一次重大升级：升级后的TDSQL PG V2.4.0版在2PC事务方面得到优化，易用性大幅提升，具备更强的分布式计算性能。 TDSQL PG版是一款具备HTAP（混合事务分析处理）能力、经过腾讯多年持续投入研发的数据库产品，能够提供成熟的一站式解决方案，2019年11月正式开源。在首次开源的10天内，Star数就上升到超过500个。开源不久，就受到了天文、医疗健康、零售等各个行业用户的青睐。 依托社区和内部业务系统的实践检验，T
OLTP是事件驱动、面向应用的，也称为面向交易的处理过程。其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作的快速响应。例如银行类、电子商务类的交易系统就是典型的OLTP系统。其具备以下特点：
ClickHouse 是最近比较热门的用于在线分析处理的（OLAP）[^1]数据存储，与我们常见的 MySQL、PostgreSQL 等传统的关系型数据库相比，ClickHouse、Hive 和 HBase 等用于在线分析处理（OLAP）场景的数据存储往往都会使用列式存储。
一.什么是HTAP HTAP数据库（Hybrid Transaction and Analytical Process，混合事务和分析处理）。2014年Gartner的一份报告中使用混合事务分析处理(HTAP)一词描述新型的应用程序框架，以打破OLTP和OLAP之间的隔阂，既可以应用于事务型数据库场景，亦可以应用于分析型数据库场景。实现实时业务决策。这种架构具有显而易见的优势：不但避免了繁琐且昂贵的ETL操作，而且可以更快地对最新数据进行分析。这种快速分析数据的能力将成为未来企业的核心竞争力之一。 如
OLAP和OLTP通过ETL衔接。为提升OLAP性能，需在ETL过程进行大量预计算，包括：
1月11日，腾讯云TDSQL PG版（开源代号TBase）再升级：分布区表关联查询性能（join）提升超10倍，同时提升了产品在分布式场景下的易用性，增加灵活可用的功能组件。 该升级版本在第十一届PostgreSQL中国技术大会上正式公布，同时更新文档已同步在GitHub上。依托社区和内部业务系统的实践检验，TDSQL PG版基本保持每月一次小升级、每半年一次重大升级的节奏，助力众多开发者应用前沿数据库技术。 TDSQL PG版是一款具备HTAP（事务分析处理）能力、经过腾讯多年持续投入研发的数据库产品，能
好消息，DBbrain发布全链路分析版，为金融客户量身定制，满足金融行业在数据库层面提出的实时计算、数据分析、高效运维等严苛要求。高阶功能支持正反向SQL解析、集群SQL聚合分析、业务SQL聚合统计分析、集群事务分析、全链路性能视图，透视全链路各环节，帮助客户第一时间发现、定位、分析、解决问题，为金融行业客户保驾护航，提供更高可靠的服务保障。 金融客户之痛 实时分析难：一般金融场景，客户的数据库通常数据体量巨大，数据分析、运算实时性保证等，难度增加。 业务定位难：用户为了溯源交易或业务，通常会有前缀编码的
导语 | 每一个时间段总是一个新时代，新技术层出不穷使得数据库技术焕发新生。Spanner、CockroachDB、TDSQL等分布式数据库正是这个时代的弄潮儿。本文由腾讯云数据库专家工程师 李海翔在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《分布式数据库的演进》演讲分享整理而成，带大家品味分布式数据库架构、前沿技术和TDSQL技术实践，感受分布式数据库的技术之美。 点击可观看精彩演讲视频 一、分布式数据库架构 我今天所分享的内容主要集中在数据库技
相信身处于大数据领域的读者多少都能感受到，大数据技术的应用场景正在发生影响深远的变化: 随着实时计算、Kubernetes 的崛起和 HTAP、流批一体的大趋势，之前相对独立的大数据技术正逐渐和传统的在线业务融合。关于该话题，笔者早已如鲠在喉，但因拖延症又犯迟迟没有动笔，最终借最近参加多项会议收获不少感悟的契机才能克服懒惰写下这片文章。
学习数仓的时候，可能一开始总是被一些英文缩写名字迷惑，OLAP MPP架构 KAPPA架构 ODS等等，这篇文章就来梳理一下这些基本概念。
OLAP 是一个很卷的赛道，创业公司也众多。在本文中，笔者基于 10+ 年的大数据与数据仓库的工作经验，就目前的主流趋势：离在线一体化、引擎一体化、云原生化等写一些思考，抛砖引玉，希望能与各位共同探讨。
然后看了下service代码内部，的确没有事务配置。 在Service上加上@Transactional , 即可解决。
HTAP系统诞生的初衷，是要打破事务处理和分析处理的界限，使企业能通过HTAP系统更好地发现市场反馈，获得更好的创新。但如何让OLTP和OLAP在系统运行的过程中相互干扰最小，却成了HTAP系统面临的难题。 总体来看，HTAP系统架构的实践可以分成两类：一类是改革，另一类是改良。前者采用One size fits all的策略，用一个大而全的系统同时满足OLTP和OLAP的需求，后者采用One size doesn’t fit all模型，将OLTP和OLAP两种系统组合起来，通过CDC的方式把OLTP上
随着数字经济的快速发展，数据已成为重要生产要素，挖掘数据价值成为了用户的普遍需求。HTAP（混合事务和分析处理）是近年来提出的一种新型的数据库架构，旨在打破事务处理和分析之间界限， 在一份数据上保证事务处理的同时支持实时分析，并且可以灵活配置两种负载的资源占比，使得在线交易和分析互不影响，并可以分别实现线性扩展，一站式地解决企业级应用的各种需求，从而大幅度降低成本，同时提高了企业决策的效率。当前，HTAP 已成为数据库发展的前沿领域。
近日，第12届中国数据库技术大会（DTCC 2021）在北京国际会议中心召开。作为全球领先的云计算、数据库产品服务商，腾讯云数据库集结多位顶级技术大咖亮相本次大会，围绕当前比较热门的数据库技术主题，共同探讨最前沿的技术趋势与实践。 本期为大家带来腾讯专家工程师朱阅岸老师在本次大会上的分享，主题为“HTAP系统的问题与主义之争”。以下是分享实录： 问题与主义之争其实是上世纪初胡适与李大钊之间的一场论战。胡适主张改良，提倡解决一个个问题，也就是少谈些主义，多研究些问题；而李大钊则主张改革，认为只有解决了这个根
数据库作为数据存储和管理的核心工具，其技术演进一直是业界关注的焦点。近年来，随着大数据、云计算、人工智能等技术的不断成熟，数据库领域也迎来了前所未有的变革。HTAP 作为一种新兴的数据库技术，正逐渐成为推动企业数字化转型的重要力量。
之前介绍了数据库的两种最常见的存储模型：NSM 和 DSM （列式存储的起源：DSM），今天介绍这两种存储模型和 HTAP 的联系。
本文根据王义成在【第十三届中国数据库技术大会（DTCC2022）】线上演讲内容整理而成。
在大数据和AI时代，数据库成为各类应用不可或缺的重要组成部分。而数据库中的数据依赖存储引擎进行管理，包括数据的存储、查询、更新和删除等。因此，在设计系统时，选择正确的数据库存储引擎方案变得尤为重要。这篇文章将以关系型、NoSQL和NewSQL数据库，以及OLTP、OLAP和HTAP处理方式为切入点，深入探讨不同类型的数据库背后的存储引擎方案选型取舍。
HTAP是什么HTAP(Hybrid Transaction and Analytical Processing)数据库，也称混合型关系数据库，是能同时提供OLTP和OLAP的混合关系型数据库。在互联网浪潮出现之前，企业的数据量普遍不大，特别是核心的业务数据，通常一个单机的数据库就可以保存。那时候的存储并不需要复杂的架构，所有的线上请求OLTP和后台分析OLAP都跑在同一个数据库实例上。随着互联网的发展，企业的业务数据量不断增多，单机数据库的容量限制制约了其在海量数据场景下的使用。
近日，TiDB Cloud 正式上线 Google Cloud Marketplace，现在，Google Cloud 全球用户能够通过 Google Cloud Marketplace 搜索、发现和订阅 TiDB Cloud 服务，将为全球用户带来全新的一栈式实时 HTAP 数据库体验。
“HTAP”作为数据库领域的当红炸子鸡，其热捧度逐年递增。特别是在随着国产化数据库浪潮逐渐替代原有数据库架构的进程中，业务系统中各类的复杂数据查询与在线交易交织的场景需求日益增多，使得业务对数据库HTAP的能力要求逐渐严格起来。
新粉请关注我的公众号 在一年一度的Snowflake Summit上，Snowflake宣布它们发布最新的UniStore，正式进军HTAP市场。 UniStore是Snowflake的一个新的存储引擎，不是Column Store 是个Row Store，它保证了Snowflake对一个row的访问会很快，并支持事务处理。 在UniStore上创建一种新的类型的表叫做HybridTable。这种表可以支持事务处理，用户可以在上面执行OLTP的操作。同时这种表也支持OLAP的操作。因此，这就成了HTAP，同
2021 年 4 月 25 日——领先的企业级开源分布式数据库厂商 PingCAP 正式发布面向企业级核心场景的 TiDB 5.0 版本。TiDB 5.0 在性能、稳定性、易用性等方面均取得了巨大进步，并在事务处理、高可用与容灾、安全合规等方面新增多项企业级特性，通过引入 MPP （Massively Parallel Processing，即大规模并行处理）架构成为具备完整 HTAP 能力的分布式数据库，为高成长企业和数字化创新场景提供一栈式数据服务平台。
本文根据伍鑫在【第十三届中国数据库技术大会（DTCC2022）】线上演讲内容整理而成。
腾讯云PostgreSQL-XZ（PGXZ）经过公司内部多年业务的打磨，在2017年改名为TBase后，正式对外推出，目前已在政务、医疗、公安、消防、电信、金融等行业等行业的解决方案中大量应用。TBase以其功能强大，运行稳定，高性能高可靠性，以及强大的互联网基因得到客户的普遍认可。
编者注：本系列选择行业分析报告进行分享，关注“数据和云”公众号回复：下载 。可以找到下载链接。 头豹研究院在2022年6月发布了，《2022年中国数据库产品策略解析报告》，对中国数据库产品技术进行了分析探讨，其中的技术总结值得一览，本文摘要进行分享。 ---- 数据模型是数据库系统的核心和基础，各种数据库都是基于不同的数据模型而生的， 对数据库技术发展阶段的划分基本按照数据模型的发展演变作为主要依据和标志。 评注：数据模型分类法，是数据库进行分类的第一个维度，墨天轮排行榜即按此作为第一分类。 数
作为数据基础设施的重要组成部分，数据库在其中扮演着重要的角色。近些年来，数据库整体发展也呈现出较之以往很大的不同。其一、是开源数据库受到更为广泛的关注，从多家机构的最新报告来看，开源数据库无论从产品数量还是受关注程度都超过商业数据库。开源这一新模式，正成为未来数据库发展的主流。其二、是云计算成为未来主要资源供给方式得到普遍共识。已经有越来越多的企业选择在云上构建基础环境，包括云上数据库的发展速度也远高于非云环境。据乐观估计，在未来5~10年云数据库将占据整体数据库市场的七成以上。此外，对迁移到公有云、使用多云环境等问题，也普遍被企业所接受。其三、是数据融合趋势，针对数据多场景应用，使用融合技术简化访问，提升效率。作为数据使用高地，金融行业一方面对数据库有着极高的要求，一方面又面临很多来自数据新的挑战，诸如海量规模、高并发、数据安全、实时分析等诉求亟待解决。分布式数据库的出现，迎合这一发展趋势，对于金融企业解决上述问题带来新的解决思路。本文从金融用户角度入手，对如何选择分布式数据库及选型后的最优实践进行阐述。
上述txTransactionHandler是StarterHmilyTransactionHandler，handler方法主要逻辑，构建根事务，绑定参与者，关联当前线程放入ThreadLocal，持久化事务日志，创建事务上下文，关联当前线程放入ThreadLocal。
大数据浪潮奔涌而至，企业对更高效地释放数据价值、降低数据使用成本的需求急剧上升，越来越多场景要应对不断增长的实时事务处理和分析的需求。其中，HTAP 凭借着可以承载高并发事务实时处理，以及大规模数据实时业务决策的能力，在企业级市场中受到广泛关注。 与此同时，押注 HTAP 方向的数据库也在增多。作为需要将 TP 和 AP 进行高度交融， 而非简略相加的产物，HTAP 面对的技术挑战也可以预见。那么，HTAP 数据库需要具备哪些能力？如何兼容 TP 与 AP 能力打造极致性能？如何高效管理 TP 和 AP 负
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本；那边厢OceanBase也紧跟着推出3.0版本，主攻方向亦是HTAP分布式数据库，在GitHub Oceanbase标注自己为“ The leading Scalable HTAP Database” , 并且又玩了一把TPC-H打榜第一的套路（后续：其成绩很快被超过）。
作为一个一直在数据库周边打酱油，又没做出什么见得人成绩的伪数据库工作者，每次轮到我写数据库大数据相关的技术文章，或者不说技术，就说科普文章的时候，一个头疼的问题就是我的受众里，懂的人往往会觉得我说的忒简单，而不懂的人又会跳出来，给我留下不知道怎么回应的留言
本项目由PingCAP投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。
编者: 本文中报告,关注 “数据和云” 回复：下载。可以找到下载链接。 2021年12月，墨天轮社区发布了由CCF数据库专委会、清华大学和墨天轮社区共同撰写的《数据库系统的分类和评测研究》，这个报告的初衷是希望通过对数据库产品的分类、评测、发展等方向的研究，为行业提供参考和促进。 感谢执笔人李国良，李战怀，彭智勇，盖国强，感谢清华大学、西北工业大学、武汉大学、云和恩墨、华为、阿里云、腾讯云、京东云、 虚谷伟业、PingCAP、巨杉、建设银行、民生银行、哈尔滨银行、浙江移动等企业和单位的专家的共同参与和支持。
11 月 17 日，金山办公登陆科创版，圆了小米集团创始人、金山软件董事长雷军和金山所有员工的“英雄梦”。算下来，从 1999 年以金山办公为业务主体准备上市算起到今天，雷军足足等了 20 年。
如今数据库上云这一话题受到越来越多的关注，数据库作为重要的基础软件，在云原生时代将面临怎样的变革？当数据库遇上云原生，又将碰撞出什么火花？近日，在亚马逊云开发者 Meetup 上，TiDB Community 架构师王天宜分享了 TiDB 与云原生实践开发经验。
TiDB是开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容、缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。目标是为用户提供一站式OLTP(OnlineTransactionalProcessing)、OLAP(OnlineAnalyticalProcessing)、HTAP解决方案。
尝试用最简单的方式解释一下OLAP和OLTP的区别。毕竟对于一个走业务线的数据分析师而言，一些技术问题也没有必要过分深究。
最近，在数据库行业对HTAP（混合事务/分析处理，Hybrid Transactional/Analytical Processing）这个概念宣传的非常火爆，也衍生出 Real-Time HTAP的说法，主要是因为随着IT行业的发展，很多用户的复杂业务已不再是单纯的OLTP或者OLAP场景，而是二者皆有的混合场景。很多数据库厂商为了响应这样的需求，同时也为了更好的宣传旗下数据库的适用性足够广泛，就纷纷打出可同时支持OLTP和OLAP的混合负载，即支持HTAP的宣传语。 当我们在网络上去搜索“HTAP”关键字，相关信息很多会提到分布式/集中式架构、传统数据库/新型数据库等等概念，本文就从这些相关概念来切入，抛砖引玉，试着理清面临如今众多的数据库，对于有HTAP需求的用户，究竟该如何理性的选择。
上世纪60年代，网状和层状数据库揭开了数据库系统发展的帷幕；1970年，来自IBM实验室的Edgar F. Codd发表了《大型共享数据库数据的关系模型》论文，提出基于集合论和谓词逻辑的关系模型，为关系型数据库技术奠定了理论基础。之后关系型数据库快速发展，并为整个数据库生态培育了坚实肥沃的发展土壤。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
