关注腾讯云大学,了解行业最新技术动态 腾讯云PaaS平台交付运维初级工程师-腾讯云TBase认证(TCA)是针对腾讯分布式HTAP数据库交付运维人员的初级认证,通过该认证,可有效验证您是否能够独立规划组件,部署TBase分布式数据库产品,验证部署结果,并能够通过TBase管理平台OSS进行实例创建、分布式表创建和操作、备份恢复配置、CLI方式登录TBase进行操作管理;适合从事TBase项目交付、初级TBase运维、售前咨询以及相关数据库项目管理人员。 数据库交付运维工程师马超免费直播课程 戳【阅读原文】
开源生态正在经历前所未有的繁荣。 今年 3 月,“开源”首次被明确列入国民经济和社会发展五年规划纲要。纲要提到,加快布局量子计算、量子通信、神经芯片、DNA 存储等前沿技术,加强信息科学与生命科学、材料等基础学科的交叉创新,支持数字技术开源社区等创新联合体发展,完善开源知识产权和法律体系,鼓励企业开放软件源代码、硬件设计和应用服务。 对开源社区的支持,对完善开源底层基础设施的规划以及对企业开源的鼓励,为开源生态的长远发展和繁荣注入一剂强心针。二季度以来,开源领域也发生了一些大事,如阿里云开放关系型数据库
关注腾讯云大学,了解行业最新技术动态 腾讯云PaaS平台交付运维初级工程师-腾讯云TBase认证(TCA)是针对腾讯分布式HTAP数据库交付运维人员的初级认证,通过该认证,可有效验证您是否能够独立规划组件,部署TBase分布式数据库产品,验证部署结果,并能够通过TBase管理平台OSS进行实例创建、分布式表创建和操作、备份恢复配置、CLI方式登录TBase进行操作管理;适合从事TBase项目交付、初级TBase运维、售前咨询以及相关数据库项目管理人员。 数据库产品专家秦玮免费直播课程 戳【阅读原文】或识别
OLTP 和 OLAP 技术栈曾因大数据系统规模问题分道扬镳。但是随数字化技术落地到千行百业,复杂的业务场景产生海量数据,即使是相对成熟的 OLTP 产品也无法满足业务对于实时分析的需求,于是 OLAP 技术快速发展,至 Gartner 正式提出了 HTAP 这一概念,到如今呈现出 HTAP 理念大火的局面。 虽然 HTAP 概念已经普及很长时间,但是业内对于 HTAP 的理解不同,国内几款代表性的 HTAP 数据库技术路线也不尽相同。开发者应该如何理解 HTAP?什么才是开发者友好的 HTAP?想要了解什
最近,在数据库行业对HTAP(混合事务/分析处理,Hybrid Transactional/Analytical Processing)这个概念宣传的非常火爆,也衍生出 Real-Time HTAP的说法,主要是因为随着IT行业的发展,很多用户的复杂业务已不再是单纯的OLTP或者OLAP场景,而是二者皆有的混合场景。很多数据库厂商为了响应这样的需求,同时也为了更好的宣传旗下数据库的适用性足够广泛,就纷纷打出可同时支持OLTP和OLAP的混合负载,即支持HTAP的宣传语。 当我们在网络上去搜索“HTAP”关键字,相关信息很多会提到分布式/集中式架构、传统数据库/新型数据库等等概念,本文就从这些相关概念来切入,抛砖引玉,试着理清面临如今众多的数据库,对于有HTAP需求的用户,究竟该如何理性的选择。
腾讯云CloudLite-分布式数据库TDSQL认证、腾讯云CloudLite-分布式数据库TBase认证是腾讯云数据库联合腾讯云大学发起的一款初级认证类型。拥有该认证表示您具备一定的腾讯云TDSQL、TBase管理运维能力。通过该认证的同学将会获得腾讯云出具的官方认证证书,适合初级数据库管理员,合作伙伴代理商,初级应用开发人员、销售人员等。 活动时间:11月16日-12月16日 Part1 腾讯云数据库学堂认证体系 1. 腾讯云CloudLite-分布式数据库TDSQL认证简介 数据库交付运维工程
关注腾讯云大学,了解行业最新技术动态 腾讯云CloudLite-分布式数据库TDSQL认证、腾讯云CloudLite-分布式数据库TBase认证是腾讯云数据库联合腾讯云大学发起的一款初级认证类型。拥有该认证表示您具备一定的腾讯云TDSQL、TBase管理运维能力。通过该认证的同学将会获得腾讯云出具的官方认证证书,适合初级数据库管理员,合作伙伴代理商,初级应用开发人员、销售人员等。 活动时间:11月16日-12月16日 Part1 腾讯云数据库学堂认证体系 1. 腾讯云CloudLite-分布式数据库T
在“国产化”和“新基建”浪潮下,腾讯云与新炬网络积极开展合作,共同推动数据库的国产化进程,日前,新炬网络在腾讯云数据库领域已经获得了多名工程师认证,并成功为众多客户提供了数据库迁移改造、运维优化等服务。下一步,新炬网络将继续与腾讯云携手,加速推进国产数据库的发展和落地应用。 一、新炬网络多名员工率先通过腾讯云数据库TCP工程师认证 由腾讯云推出的数据库培训认证——数据库交付运维工程师-腾讯云TBase认证(TCP)一经发布,新炬网络的多名员工便率先通过了此项认证,并获得由官方颁发的证书。 数据库交付
随着数字经济的快速发展,数据已成为重要生产要素,挖掘数据价值成为了用户的普遍需求。HTAP(混合事务和分析处理)是近年来提出的一种新型的数据库架构,旨在打破事务处理和分析之间界限, 在一份数据上保证事务处理的同时支持实时分析,并且可以灵活配置两种负载的资源占比,使得在线交易和分析互不影响,并可以分别实现线性扩展,一站式地解决企业级应用的各种需求,从而大幅度降低成本,同时提高了企业决策的效率。当前,HTAP 已成为数据库发展的前沿领域。
WOT(World of Tech)全球技术创新大会是由51CTO开创的综合性高端技术会议品牌,致力于展现国内外技术领域热点趋势、搭建全球技术人的深度分享交流平台、推动先进技术的场景落地与行业融合。自2012年首次举办以来,WOT已在十年间通过十八场高质量技术盛会的输出,累计影响了数千家科技企业与数万名一线技术人员。
编者: 本文中报告,关注 “数据和云” 回复:下载。可以找到下载链接。 2021年12月,墨天轮社区发布了由CCF数据库专委会、清华大学和墨天轮社区共同撰写的《数据库系统的分类和评测研究》,这个报告的初衷是希望通过对数据库产品的分类、评测、发展等方向的研究,为行业提供参考和促进。 感谢执笔人李国良,李战怀,彭智勇,盖国强,感谢清华大学、西北工业大学、武汉大学、云和恩墨、华为、阿里云、腾讯云、京东云、 虚谷伟业、PingCAP、巨杉、建设银行、民生银行、哈尔滨银行、浙江移动等企业和单位的专家的共同参与和支持。
分布式关系型数据库集分布式技术和数据库技术为一体,像Paxos/Raft和2PC已经是基础能力,不再赘述,这里主要是记录下一些较为脑洞的想法。为了简化,后面简称为分布式数据库。
本项目由PingCAP投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。
2022 年 11 月 1 日,企业级开源分布式数据库厂商 PingCAP 在 HTAP Summit 上宣布 TiDB Cloud Serverless Tier BETA 版正式发布 ,这是一种完全托管的全自动 HTAP 数据库服务,使开发者能够以最经济的方式部署其基础设施。
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本;那边厢OceanBase也紧跟着推出3.0版本,主攻方向亦是HTAP分布式数据库,在GitHub Oceanbase标注自己为“ The leading Scalable HTAP Database” , 并且又玩了一把TPC-H打榜第一的套路(后续:其成绩很快被超过)。
作为数据基础设施的重要组成部分,数据库在其中扮演着重要的角色。近些年来,数据库整体发展也呈现出较之以往很大的不同。其一、是开源数据库受到更为广泛的关注,从多家机构的最新报告来看,开源数据库无论从产品数量还是受关注程度都超过商业数据库。开源这一新模式,正成为未来数据库发展的主流。其二、是云计算成为未来主要资源供给方式得到普遍共识。已经有越来越多的企业选择在云上构建基础环境,包括云上数据库的发展速度也远高于非云环境。据乐观估计,在未来5~10年云数据库将占据整体数据库市场的七成以上。此外,对迁移到公有云、使用多云环境等问题,也普遍被企业所接受。其三、是数据融合趋势,针对数据多场景应用,使用融合技术简化访问,提升效率。作为数据使用高地,金融行业一方面对数据库有着极高的要求,一方面又面临很多来自数据新的挑战,诸如海量规模、高并发、数据安全、实时分析等诉求亟待解决。分布式数据库的出现,迎合这一发展趋势,对于金融企业解决上述问题带来新的解决思路。本文从金融用户角度入手,对如何选择分布式数据库及选型后的最优实践进行阐述。
开源,是一个技术圈令人激动的话题。 尤其是现在这个数据爆炸和技术迭代极快的时代,各种各样的软件和工具百花齐放,得益于开源项目,行业技术和业内生态可以更加迅速得发展和前行,开源项目就像技术圈的公共设施,免费为各位技术人提供需要的资源,造福世界。 开源个人而言,意味着更多学习的机会,免去重复造车的成本,能够将时间投入到有价值有意义的项目中去,也可以站在巨人的肩膀上看到不一样的风景。 对于企业而言,可以节省大量的人力和物力成本,在节省成本的同时还可以根据源代码开发出更多个性化的功能。同时本身优秀的项目开源也可
2012 年开始,由腾讯内部业务适配而衍生的自研分布式数据库 TDSQL 正式诞生。2020年12月,腾讯云数据库三大产品线统一升级,将 TDSQL、CynosDB(现为TDSQL-C)、TBase (现为TDSQL PG版)统一至全新的 TDSQL 系列中。砥砺前行十余载,这家互联网厂商在数据库领域立下一座座丰碑,腾讯云TDSQL 每次都能精准踩点的秘诀是什么? 1 腾讯云 TDSQL 的前世今生 要想真正的了解腾讯云 TDSQL,首先要了解其发展历程。TDSQL 发展经历了四个发展阶段: 第一阶段:2
4 月 7 日至 8 日,由全球分布式云联盟、亚太 CDN 产业联盟、众视 Tech 主办的 2021 GDCC 全球分布式云大会在北京举行,PingCAP 联合创始人兼 CTO 黄东旭受邀参会发表演讲。同时,大会现场表彰了在分布式云领域做出卓越贡献的企业,PingCAP 获得分布式数据库领导力奖。
编者注:本系列选择行业分析报告进行分享,关注“数据和云”公众号回复:下载 。可以找到下载链接。 头豹研究院在2022年6月发布了,《2022年中国数据库产品策略解析报告》,对中国数据库产品技术进行了分析探讨,其中的技术总结值得一览,本文摘要进行分享。 ---- 数据模型是数据库系统的核心和基础,各种数据库都是基于不同的数据模型而生的, 对数据库技术发展阶段的划分基本按照数据模型的发展演变作为主要依据和标志。 评注:数据模型分类法,是数据库进行分类的第一个维度,墨天轮排行榜即按此作为第一分类。 数
国际知名调研机构沙利文联合头豹研究院发布了《2021年中国分布式数据库市场报告》,报告显示:腾讯云数据库入选Frost Radar (弗若斯特雷达)领导者象限,增长指数排名第一。为帮助广大数据库爱好者进一步了解报告内容,洞察数据库发展趋势,腾讯云数据库邀请沙利文中国高级分析师胡竣杰解读最新报告。以下为解读视频及文字实录: 大家好,我是沙利文高级分析师胡竣杰,我将从四个方面的内容解读沙利文最新发布的2021年中国分布式数据库市场报告,分别为:中国分布式数据库的行业综述、分布式数据库技术发展概览、分布式数据库市
很多小伙伴在日常接触中接触国产数据库很少,大部分在开发应用上使用的是由甲骨文,微软等公司提供了MySQL,SQLserver。普通程序员很少能用到newSQl数据库,TiDB就是一种newSQL数据库,在大趋势下,向国际对接是避免不了的,但也存在一个问题,近期看到新闻国外某知名数据库厂商宣布称“暂停在俄罗斯的所有业务”,相信很多国内小伙伴的心情,绝不是隔岸观火,而是细思恐极。数据库产品一直都是国内人员的焦点话题,面对现如今全球的“非常时期”,国产数据库到底能不能支棱起来呢?今天呢我就带领大家认识国产数据库TiDB数据库。为什么要介绍TiDB呢,看图说话。
本文根据微众银行资深数据库架构师黄蔚在 DevCon 2022 上的分享整理,主要讲述了微众银行对于 HTAP 架构的探索和实践情况,以及提升大规模分布式数据库运维效率的经验。
IDC于12月15日发布了 “2022年上半年中国关系型数据库软件市场跟踪报告”。在本地部署模式,Oracle 仍然是份额最高的厂商,华为云以16.59%的份额排名国内厂商第一。报告指出,2022上半年,中国关系型数据库市场规模为15.5亿美元,同比增长30.4%。本地部署关系型数据库规模6.0亿美元,同比增长15.6%,与2021年同期相比增速下降8.1%;公有云关系型数据库规模9.5亿美元,同比增长42.0%。
腾讯云PostgreSQL-XZ(PGXZ)经过公司内部多年业务的打磨,在2017年改名为TBase后,正式对外推出,目前已在政务、医疗、公安、消防、电信、金融等行业等行业的解决方案中大量应用。TBase以其功能强大,运行稳定,高性能高可靠性,以及强大的互联网基因得到客户的普遍认可。
“HTAP”作为数据库领域的当红炸子鸡,其热捧度逐年递增。特别是在随着国产化数据库浪潮逐渐替代原有数据库架构的进程中,业务系统中各类的复杂数据查询与在线交易交织的场景需求日益增多,使得业务对数据库HTAP的能力要求逐渐严格起来。
10月20日,一年一度的数据库技术交流盛会——DTCC 2021(第十二届中国数据库技术大会)在京圆满落幕。 大会以“数造未来”为主题,重点围绕数据架构、人工智能与大数据应用、传统企业数据库实践和国产开源数据库等内容展开分享和探讨。 在本次数据库年度盛会交流平台上,腾讯云数据库团队集结多位顶级技术达人亮相,针对当前热门数据库技术主题,共同为大家带来了满满技术干货分享。 错过现场?没关系,一文带你回顾腾讯云数据库大咖演讲要点~ 数造未来 HTAP数据库解决方案、应用实践和未来发展 林晓斌,腾讯云数据库总经理
在各种因素的推动下,分布式数据库已经成为一种技术潮流,甚至是新基建很重要的一部分,该类型数据库也在众多行业进行了广泛落地,供需两旺。分布式数据库的架构设计思想也很值得广大开发者学习。本文,InfoQ 希望呈现有关分布式数据库的架构设计优化及实践相关内容。
2020年7月13日,腾讯自研的分布式HTAP数据库TBase正式发布了开源V2.1.0版本,作为开源后的首次重大版本升级,TBase开源V2.1.0版本提供了许多令人兴奋的新特性,旨在通过更加丰富的维护与管理功能,提升大家的使用体验;同时,致力于更大限度地节省系统运行中的资源消耗,实现单位资源内的性能最大化;此外,TBase面向多中心多活架构的能力也得到了更进一步的增强。 为了方便大家对此次版本升级有更全面的了解,本文将对TBase开源V2.1.0版本的一些新特性及功能优化进行概括性解读。更详细、
2021 年 4 月 25 日——领先的企业级开源分布式数据库厂商 PingCAP 正式发布面向企业级核心场景的 TiDB 5.0 版本。TiDB 5.0 在性能、稳定性、易用性等方面均取得了巨大进步,并在事务处理、高可用与容灾、安全合规等方面新增多项企业级特性,通过引入 MPP (Massively Parallel Processing,即大规模并行处理)架构成为具备完整 HTAP 能力的分布式数据库,为高成长企业和数字化创新场景提供一栈式数据服务平台。
本文由 PingCAP 联合创始人兼 CTO 黄东旭撰写,基于亲身经历的数据库行业,深度总结过去一年数据库发展的重要趋势,以及展望 2023 年数据库新方向,希望对更多的行业从业者有所启发。
本文回顾了 PingCAP 创始人兼 CEO 刘奇在 9 月 22 日的 用户峰 会 上以《现在决定未来》为主题的演讲, 分享了 PingCAP 在技术演进、用户价值、数据库技术趋势、国际化、社会价值等方面的思考, 同时也记录了建信金科、百胜中国、传音控股、老虎国际等用户在刘奇的演讲中分享的最佳实践。全文字数约 8,800,预计阅读时间 20 分钟。
8 月 31 日 - 9 月 4 日,第 46 届 VLDB 会议以线上直播的方式举行(原定于日本东京召开),PingCAP 团队的论文《TiDB: A Raft-based HTAP Database 》入选 VLDB 2020 ,成为业界第一篇 Real-time HTAP 分布式数据库工业实现的论文。PingCAP 联合创始人、CTO 黄东旭获邀在会上进行演讲,分享关于论文的深度解读及在线答疑。
2022年是魔幻年,2.24号,在外面爬雪山团建,谈着刚刚打响的俄乌战争。4月招聘一位上海员工,但因为疫情管控只能远程报到,杭州亚运会也被迫推迟,随后几个月大家都笼罩在阴影中,唯有世界杯带来了快乐,但原计划12.18号一起看决赛,没想到公司瞬间阳了一半,看球活动也被迫取消。好在疫情快速消停,和家人度过一个大团圆春节。
本文是《极客时间》-《TiDb极简入门》的学习笔记。传送门:https://time.geekbang.org/opencourse/videointro/100089601
最近的几年中,HTAP 数据库成为了一个时髦词汇,言必称 HTAP 也成了很多数据库领域从业者的风潮。如何打造一款 HTAP 数据库,从架构层面出发,去应对未来的变化,拥抱变化,也是很多数据库公司所一直在探索的。
分布式数据库进入人们的视野已经很久了。相对于传统的集中式数据库,分布式数据库在高性能、高可用、平滑拓展、高可靠、低成本等许多方面具有优势。 但时至今日,关于分布式数据库,似乎一直缺少足够权威和客观的解读。 现在,国家白皮书来了! 为了明确分布式数据库的概念,梳理分布式数据库的技术体系和应用现状,对未来的技术和应用趋势进行研判,中国软件评测中心牵头组织了腾讯云等厂商参与,调研了国内主要分布式数据库产品厂商,并对部分产品进行了测评,参考了国内外主要研究机构的学术成果,历时半年共同编制了《分布式数据库发展路径研
MySQL在达到一定数据量(我的经验是3T、单表1亿)时,复杂查询会有明显的延迟。继续分库分表,会严重增加业务复杂性,尤其对很多非互联网产品来说,急需一个分布式存储。
近日,TiDB Cloud 正式上线 Google Cloud Marketplace,现在,Google Cloud 全球用户能够通过 Google Cloud Marketplace 搜索、发现和订阅 TiDB Cloud 服务,将为全球用户带来全新的一栈式实时 HTAP 数据库体验。
Oracle能在所有主流平台上运行(包括Windows),完全支持所有的工业标准,采用完全开放策略,可以使客户选择最适合的解决方案,对开发商全力支持。
近日,企业级开源分布式数据库厂商平凯星辰与教育部教育管理信息中心达成合作,TiDB 分布式数据库为全国中小学管理服务平台提供全栈服务。双方将携手深入探索领先的数据库技术在教育行业的新场景与新应用,既夯实教育数字化底座,助力普惠教育数字化 。
12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《使用 TiDB 列存引擎进行实时数据分析》的主题演讲。
之前介绍了数据库的两种最常见的存储模型:NSM 和 DSM (列式存储的起源:DSM),今天介绍这两种存储模型和 HTAP 的联系。
在访问量和数据量急剧膨胀的今天,关系型数据库已经难以支撑庞大复杂的系统规模。在此背景下,备受关注的数据库新理念 HTAP,会是一条“正确”的路吗?
数据库国产化浪潮从泛互联网行业兴起,随后部分传统行业逐渐开始在新兴业务上抛弃束缚,进行国产化尝试,如今,国产化已经发展到了替换传统核心的时刻,一方面许多行业的数字化转型如火如荼,另一方面业务对数据库的需求也不仅仅局限于OLAP或OLTP,要求更加全面的数据库。同时,年初的疫情爆发、新基建的兴起,企业业务寻求转型……面对各种因素综合之下错综复杂的时代局势,腾讯云数据库将如何发力,帮助用户一起打赢这场去O大战?一起来听腾讯大咖为你分享: 12月11日,Gdevops全球敏捷运维峰会即将在北京新世纪日航酒店举办
自Gartner发布数据库行业报告((Other Vendors to Consider for Operational DBMSs 2017))以来,第一次收录了来自中国的数据库厂商,分别是阿里云Alibaba Cloud、SequoiaDB巨杉数据库以及南大通用Gbase,标志着中国数据库产业发展已经迈出了一大步。 数据库技术发展方向 Gartner今年的多分报告中认为数据库未来需要在几个方面进行创新: 一、分布式架构 二、Multimodel多模数据管理 三、混合访问HTAP 四、云架构整合 五、数
单体数据库时代,随着系统交易量的不断上升,数据库读写性能出现了严重下降。我们可以借助分库分表中间件,比如mycat、shardingjdbc来实现分库分表,缓解单库的读写性能。但是分库分表中间件并不支持事务,如果要保证数据一致性,就需要借助于分布式事务中间件,比如阿里巴巴的seata。后来分布式数据库逐渐成为解决数据一致性的选择,目前分布式数据库产品已经比较成熟,支持ACID事务,本文就来聊一聊分布式数据库。
领取专属 10元无门槛券
手把手带您无忧上云