开源生态正在经历前所未有的繁荣。 今年 3 月,“开源”首次被明确列入国民经济和社会发展五年规划纲要。纲要提到,加快布局量子计算、量子通信、神经芯片、DNA 存储等前沿技术,加强信息科学与生命科学、材料等基础学科的交叉创新,支持数字技术开源社区等创新联合体发展,完善开源知识产权和法律体系,鼓励企业开放软件源代码、硬件设计和应用服务。 对开源社区的支持,对完善开源底层基础设施的规划以及对企业开源的鼓励,为开源生态的长远发展和繁荣注入一剂强心针。二季度以来,开源领域也发生了一些大事,如阿里云开放关系型数据库
在各种因素的推动下,分布式数据库已经成为一种技术潮流,甚至是新基建很重要的一部分,该类型数据库也在众多行业进行了广泛落地,供需两旺。分布式数据库的架构设计思想也很值得广大开发者学习。本文,InfoQ 希望呈现有关分布式数据库的架构设计优化及实践相关内容。
疫情以来,餐饮行业总体的损失不可谓不沉重,但最先从打击中恢复的却是门店数量最多、经营最复杂的各大快餐巨头,或者更具体的说,是那些在 DTC 有着更多投入和积累的快餐企业。以去年双十一为例,多家快餐顶流仅用不到 12 小时就突破了去年双十一全天的销售额,业务涨势喜人。
北京银行是一家城市商业银行,公司价值位列中国区域性发展银行的首位,依托于中国经济的大环境,北京银行的资产总量在全球千家大银行中名列第 61 位,连续六年跻身全球银行业百强。北京银行积极开辟多元化的业务经营,例如北京地区的社保缴纳和医保代发,都是由北京银行在提供服务,在你入职一家公司的时候,收到的医保折子就是来自北京银行。
2012 年开始,由腾讯内部业务适配而衍生的自研分布式数据库 TDSQL 正式诞生。2020年12月,腾讯云数据库三大产品线统一升级,将 TDSQL、CynosDB(现为TDSQL-C)、TBase (现为TDSQL PG版)统一至全新的 TDSQL 系列中。砥砺前行十余载,这家互联网厂商在数据库领域立下一座座丰碑,腾讯云TDSQL 每次都能精准踩点的秘诀是什么? 1 腾讯云 TDSQL 的前世今生 要想真正的了解腾讯云 TDSQL,首先要了解其发展历程。TDSQL 发展经历了四个发展阶段: 第一阶段:2
关系数据库技术,作为计算机技术的基石,兴起于上世纪的80年代。最初的两个系统是IBM Almaden研究院的System R和加州大学伯克利分校的Ingres。 在商业领域,经过一系列的厮杀,在淘汰掉包括Informix和SyBase这些强劲对手以后,Oracle,IBM和微软最终成为了商业数据库领域的三驾马车。 其中Oracle数据库更是一骑绝尘,在相当长一段时间内,Oracle数据库被广泛应用到了包括银行等在内的各种领域,在商业数据库领域是无敌的代名词。 进入21世纪以后,事情逐渐发生了变化。一方面,以
10月20日,一年一度的数据库技术交流盛会——DTCC 2021(第十二届中国数据库技术大会)在京圆满落幕。 大会以“数造未来”为主题,重点围绕数据架构、人工智能与大数据应用、传统企业数据库实践和国产开源数据库等内容展开分享和探讨。 在本次数据库年度盛会交流平台上,腾讯云数据库团队集结多位顶级技术达人亮相,针对当前热门数据库技术主题,共同为大家带来了满满技术干货分享。 错过现场?没关系,一文带你回顾腾讯云数据库大咖演讲要点~ 数造未来 HTAP数据库解决方案、应用实践和未来发展 林晓斌,腾讯云数据库总经理
墨墨导读:2020数据技术嘉年华于11月21日落下帷幕,大会历时两天,来自全国各地的数据领域学术精英、领袖人物、技术专家、从业者和技术爱好者相聚北京,见证了个人的快速成长、技术的迭代进步、行业的蓬勃发展、生态的融合共赢,以及市场的风云变迁。
IDC于12月15日发布了 “2022年上半年中国关系型数据库软件市场跟踪报告”。在本地部署模式,Oracle 仍然是份额最高的厂商,华为云以16.59%的份额排名国内厂商第一。报告指出,2022上半年,中国关系型数据库市场规模为15.5亿美元,同比增长30.4%。本地部署关系型数据库规模6.0亿美元,同比增长15.6%,与2021年同期相比增速下降8.1%;公有云关系型数据库规模9.5亿美元,同比增长42.0%。
又到了双十一、双十二、年终大促季,每年这个时候都是购物狂欢节,不仅促销产品多、种类全、覆盖面广,促销花样也在不断翻新,直播、砍价、优惠券、加价购等,令人眼花缭乱。 当全国人民沉浸在买买买的自嗨中无法自拔时,考验的不仅是百万商家的战略战术,更是各种技术平台的实力比拼,尤其是底层的数据库,将迎来流量峰值期间的高并发和快速响应挑战。 高并发业务场景下 快速、弹性扩缩容调整 (微盟产品和服务布局) 以微盟为例,公司承载的是多渠道的广告营销业务,提供和各个细分领域相关的垂直SaaS解决方案及服务。比如:双11期
一年一度的双十一又双叒叕来了,给技术人最好的礼物就是大促技术指南!而经过这些年的发展,大促早已不仅仅局限于电商行业,现在各行各业其实都会采用类似方式做运营活动,汽车界有 818,电商有 618 、11.11 等等,各种各样的大促场景,对包括数据库在内的基础软件提出了很多新挑战,同时也积累了诸多最佳实践。
本项目由PingCAP投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。
原ZLJ卖场的压测流程,是依托于阿里云PTS工具,团队自身缺乏性能测试能力自建,缺少性能分析和数据沉淀,测试场景单一,只有单接口和多接口压测,缺少场景和链路压测,不能相对合理的评估系统性能承载能力,机器扩容只凭借经验进行增加调整,缺乏评估依据。
消息队列的应用场景十分广泛,主流的消息中间件有ActiveMQ,RabbitMQ,RocketMQ,ZeroMQ,Kafka等,ActiveMQ是最老牌的MQ,它是Apache的开源项目,ZeroMQ是最快的消息队列,RabbitMQ也很不错,RocketMQ是阿里巴巴的开源项目,现在已经捐赠给Apache并成为了Apache的顶级项目,Kafka是吞吐量最高的消息中间件,常用于日志的处理,可能因为吞吐量的原因,ActiveMQ和RabiitMQ的活跃度越来越低,RocketMQ因为有相当好的性能,抗过了阿里的双十一,双十二等,所以越来越活跃,但是别去管那么多,消息中间件都差不多,懂一个了去学其他的也都一样
2022年6月,腾讯云数据库TDSQL PG版 Oracle兼容能力以及TDSQL-A两大引擎全新升级,Oracle兼容性和海量数据查询分析能力再上新台阶。 升级后的TDSQL PG版 Oracle兼容能力将进一步降低用户迁移改造成本,全面支持存储过程、Package管理等高级特性,同时支持分布式和集中式两种架构,用户可以根据业务需要从集中式无缝升级至分布式。 海量数据分析能力也迎来了全面升级,TDSQL分布式分析型引擎TDSQL-A自研列存储引入延迟读取、过滤下推、自适应行列转换等能力,支持更加丰富的使
OLTP 和 OLAP 技术栈曾因大数据系统规模问题分道扬镳。但是随数字化技术落地到千行百业,复杂的业务场景产生海量数据,即使是相对成熟的 OLTP 产品也无法满足业务对于实时分析的需求,于是 OLAP 技术快速发展,至 Gartner 正式提出了 HTAP 这一概念,到如今呈现出 HTAP 理念大火的局面。 虽然 HTAP 概念已经普及很长时间,但是业内对于 HTAP 的理解不同,国内几款代表性的 HTAP 数据库技术路线也不尽相同。开发者应该如何理解 HTAP?什么才是开发者友好的 HTAP?想要了解什
2022 年,我们一起穿越了许多荆棘时刻,面对着前所未有的不确定性。在这些挑战面前,我们发现技术和开发者扮演了重要角色。 技术为我们提供了穿越周期的桥梁,开发者帮助我们更好地应对挑战,解决问题并赋予这个世界更多创造力 。 PingCAP 也在过去一年迎来了新的进化,岁末年初,我们想邀请你共同回顾属于 PingCAP 用户和开发者的 2022 年度记忆。
最近,在数据库行业对HTAP(混合事务/分析处理,Hybrid Transactional/Analytical Processing)这个概念宣传的非常火爆,也衍生出 Real-Time HTAP的说法,主要是因为随着IT行业的发展,很多用户的复杂业务已不再是单纯的OLTP或者OLAP场景,而是二者皆有的混合场景。很多数据库厂商为了响应这样的需求,同时也为了更好的宣传旗下数据库的适用性足够广泛,就纷纷打出可同时支持OLTP和OLAP的混合负载,即支持HTAP的宣传语。 当我们在网络上去搜索“HTAP”关键字,相关信息很多会提到分布式/集中式架构、传统数据库/新型数据库等等概念,本文就从这些相关概念来切入,抛砖引玉,试着理清面临如今众多的数据库,对于有HTAP需求的用户,究竟该如何理性的选择。
导语 | TBase 是腾讯TEG数据平台团队在开源 PostgreSQL 的基础上研发的企业级分布式 HTAP 数据库系统,可在同一数据库集群中同时为客户提供强一致高并发的分布式在线事务能力以及高性能的数据在线分析能力。本文是对腾讯 TBase 专家工程师伍鑫在云+社区沙龙 online 的分享整理,将为大家带来腾讯云 TBase 在分布式 HTAP 领域的探索与实践。 点击视频查看完整直播回放 Part1 TBase分布式数据库介绍 1. TBase 发展历程
鱼皮最新原创项目教程,欢迎学习 大家好,我是鱼皮。 今天给大家分享一道场景设计题目:如何设计一个高并发系统。并给大家整理了高并发系统设计的 15 个锦囊,相信大家看完会有帮助的。 如何理解高并发系统 所谓设计高并发系统,就是设计一个系统,保证它整体可用的同时,能够处理很高的并发用户请求,能够承受很大的流量冲击。 我们要设计高并发的系统,那就需要处理好一些常见的系统瓶颈问题,如内存不足、磁盘空间不足,连接数不够,网络宽带不够等等,以应对突发的流量洪峰。 1. 分而治之,横向扩展 如果你只部署一个应用,只
2022年是魔幻年,2.24号,在外面爬雪山团建,谈着刚刚打响的俄乌战争。4月招聘一位上海员工,但因为疫情管控只能远程报到,杭州亚运会也被迫推迟,随后几个月大家都笼罩在阴影中,唯有世界杯带来了快乐,但原计划12.18号一起看决赛,没想到公司瞬间阳了一半,看球活动也被迫取消。好在疫情快速消停,和家人度过一个大团圆春节。
12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《使用 TiDB 列存引擎进行实时数据分析》的主题演讲。
TBase是腾讯云国产企业级分布式HTAP数据库,可完美适用于拥有海量数据、高并发、高HTAP,以及分布式事务能力的应用场景。为构建开发者生态,与开发者共同进步,TBase已于2019年11月正式开源,截止目前,TBase在GitHub上的Star数已超过800个,Fork数近200。
WOT(World of Tech)全球技术创新大会是由51CTO开创的综合性高端技术会议品牌,致力于展现国内外技术领域热点趋势、搭建全球技术人的深度分享交流平台、推动先进技术的场景落地与行业融合。自2012年首次举办以来,WOT已在十年间通过十八场高质量技术盛会的输出,累计影响了数千家科技企业与数万名一线技术人员。
一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。不过以前我还没有考虑过这背后的技术问题,直到最近我做了一个烂项目以及和同事谈论双十一购物效率问题时才思考了一下这个问题。
迁移,是过去三年国内数据库行业最热的关键词之一。在 AI 与云计算过去十年的持续爆发之下,如何更好地存储和使用数据,既是每个中国互联网从业者绕不开的话题,也是中国传统行业数字化转型的核心议题。本土互联网巨头为什么会在 2000 年到 2010 年飞速成长之际,打下数据库业务的基础?2020 年之后,国产数据库的迁移浪潮又是如何逐渐成型,百花齐放? 本期节目,见证行业崛起的资深嘉宾王义成与 Diane 深度对谈,看清迁移浪潮之下,国产数据库从业者走过的每一步路。对于嘉宾所提到的《腾讯云工具指南》感兴趣的小伙
11 月 17 日,金山办公登陆科创版,圆了小米集团创始人、金山软件董事长雷军和金山所有员工的“英雄梦”。算下来,从 1999 年以金山办公为业务主体准备上市算起到今天,雷军足足等了 20 年。
随着数字经济的快速发展,数据已成为重要生产要素,挖掘数据价值成为了用户的普遍需求。HTAP(混合事务和分析处理)是近年来提出的一种新型的数据库架构,旨在打破事务处理和分析之间界限, 在一份数据上保证事务处理的同时支持实时分析,并且可以灵活配置两种负载的资源占比,使得在线交易和分析互不影响,并可以分别实现线性扩展,一站式地解决企业级应用的各种需求,从而大幅度降低成本,同时提高了企业决策的效率。当前,HTAP 已成为数据库发展的前沿领域。
记得很久之前,去面试过字节跳动。被三面的面试官问了一道场景设计题目:如何设计一个高并发系统。当时我回答得比较粗糙,最近回想起来,所以整理了设计高并发系统的15个锦囊,相信大家看完会有帮助的。
本文介绍了某国有大行推出的本地生活服务类 APP 在数字时代的创新应用实践。该 APP 利用金融科技和互联网平台模式,打造“金融+非金融”的线上生态服务平台,满足了用户多样化的生活需求。为应对用户增长和数据量增加带来的挑战,该 APP 决定采用新一代 HTAP 数据库 TiDB 替换原系统中的 Oracle RAC,以提升整个系统的处理能力、扩展能力和服务能力。 文章介绍了 TiDB 带来的优势和应用价值,包括灵活的扩展能力、无需分库分表、金融级高可用能力等,帮助该平台提升了用户体验,增强了业务竞争力。
编者: 本文中报告,关注 “数据和云” 回复:下载。可以找到下载链接。 2021年12月,墨天轮社区发布了由CCF数据库专委会、清华大学和墨天轮社区共同撰写的《数据库系统的分类和评测研究》,这个报告的初衷是希望通过对数据库产品的分类、评测、发展等方向的研究,为行业提供参考和促进。 感谢执笔人李国良,李战怀,彭智勇,盖国强,感谢清华大学、西北工业大学、武汉大学、云和恩墨、华为、阿里云、腾讯云、京东云、 虚谷伟业、PingCAP、巨杉、建设银行、民生银行、哈尔滨银行、浙江移动等企业和单位的专家的共同参与和支持。
分布式关系型数据库集分布式技术和数据库技术为一体,像Paxos/Raft和2PC已经是基础能力,不再赘述,这里主要是记录下一些较为脑洞的想法。为了简化,后面简称为分布式数据库。
“当用户使用软件时,会需要面对的两个鸿沟:一个是执行的鸿沟,在这里,用户要弄清楚如何操作,与软件「对话」;另一个是评估的鸿沟,用户要弄清楚操作的结果。” PingCAP 联合创始人兼 CTO 黄东旭在《做出让人爱不释手的基础软件》中提到,“ 我们作为设计师的使命就是帮助用户消除可观测性和可交互性这两个鸿沟。”
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本;那边厢OceanBase也紧跟着推出3.0版本,主攻方向亦是HTAP分布式数据库,在GitHub Oceanbase标注自己为“ The leading Scalable HTAP Database” , 并且又玩了一把TPC-H打榜第一的套路(后续:其成绩很快被超过)。
2022 年 11 月 1 日,企业级开源分布式数据库厂商 PingCAP 在 HTAP Summit 上宣布 TiDB Cloud Serverless Tier BETA 版正式发布 ,这是一种完全托管的全自动 HTAP 数据库服务,使开发者能够以最经济的方式部署其基础设施。
作为数据基础设施的重要组成部分,数据库在其中扮演着重要的角色。近些年来,数据库整体发展也呈现出较之以往很大的不同。其一、是开源数据库受到更为广泛的关注,从多家机构的最新报告来看,开源数据库无论从产品数量还是受关注程度都超过商业数据库。开源这一新模式,正成为未来数据库发展的主流。其二、是云计算成为未来主要资源供给方式得到普遍共识。已经有越来越多的企业选择在云上构建基础环境,包括云上数据库的发展速度也远高于非云环境。据乐观估计,在未来5~10年云数据库将占据整体数据库市场的七成以上。此外,对迁移到公有云、使用多云环境等问题,也普遍被企业所接受。其三、是数据融合趋势,针对数据多场景应用,使用融合技术简化访问,提升效率。作为数据使用高地,金融行业一方面对数据库有着极高的要求,一方面又面临很多来自数据新的挑战,诸如海量规模、高并发、数据安全、实时分析等诉求亟待解决。分布式数据库的出现,迎合这一发展趋势,对于金融企业解决上述问题带来新的解决思路。本文从金融用户角度入手,对如何选择分布式数据库及选型后的最优实践进行阐述。
开源,这一始于计算机编程底层的哲学,现已成为当下软件产业的巨轮。如同工业革命之于经济,开源理念之于前沿技术探索与软件生态建设则起到了无可替代的推动力。
一直以来,中国数据库市场都是国际厂商唱主角,本土厂商在巨大的市场竞争压力中孱弱前行。积跬步、至千里,卧薪尝胆的本土厂商在2019年一系列精彩表现,让人们看到了中国数据库厂商取得突破的希望,市场竞争似乎开始进入一个全新的阶段,拐点悄悄到来。
数据是企业的核心资产,数据库作为数据的载体,承担着至关重要的角色。它的性能、稳定性、可靠性、容灾以及安全成为企业应用的首要考量要素。数据库从技术上是如何实现以及实际中是如何服务于各个行业的呢?我们邀请到了数据库领域的各位大咖,为您详解目前主流数据库的技术,以及在各行业的应用实践。 活动时间 8月24日 周六 13:00-18:00 活动地点 广东省深圳市南山区高新园飞亚达科技大厦-5L 报名二维码 议题介绍 PostgreSQL各版本功能演进 及未来版本特性展望 演讲嘉宾:张文升 -《Post
编者注:本系列选择行业分析报告进行分享,关注“数据和云”公众号回复:下载 。可以找到下载链接。 头豹研究院在2022年6月发布了,《2022年中国数据库产品策略解析报告》,对中国数据库产品技术进行了分析探讨,其中的技术总结值得一览,本文摘要进行分享。 ---- 数据模型是数据库系统的核心和基础,各种数据库都是基于不同的数据模型而生的, 对数据库技术发展阶段的划分基本按照数据模型的发展演变作为主要依据和标志。 评注:数据模型分类法,是数据库进行分类的第一个维度,墨天轮排行榜即按此作为第一分类。 数
4 月 7 日至 8 日,由全球分布式云联盟、亚太 CDN 产业联盟、众视 Tech 主办的 2021 GDCC 全球分布式云大会在北京举行,PingCAP 联合创始人兼 CTO 黄东旭受邀参会发表演讲。同时,大会现场表彰了在分布式云领域做出卓越贡献的企业,PingCAP 获得分布式数据库领导力奖。
国际知名调研机构沙利文联合头豹研究院发布了《2021年中国分布式数据库市场报告》,报告显示:腾讯云数据库入选Frost Radar (弗若斯特雷达)领导者象限,增长指数排名第一。为帮助广大数据库爱好者进一步了解报告内容,洞察数据库发展趋势,腾讯云数据库邀请沙利文中国高级分析师胡竣杰解读最新报告。以下为解读视频及文字实录: 大家好,我是沙利文高级分析师胡竣杰,我将从四个方面的内容解读沙利文最新发布的2021年中国分布式数据库市场报告,分别为:中国分布式数据库的行业综述、分布式数据库技术发展概览、分布式数据库市
关注腾讯云大学,了解行业最新技术动态 腾讯云CloudLite-分布式数据库TDSQL认证、腾讯云CloudLite-分布式数据库TBase认证是腾讯云数据库联合腾讯云大学发起的一款初级认证类型。拥有该认证表示您具备一定的腾讯云TDSQL、TBase管理运维能力。通过该认证的同学将会获得腾讯云出具的官方认证证书,适合初级数据库管理员,合作伙伴代理商,初级应用开发人员、销售人员等。 活动时间:11月16日-12月16日 Part1 腾讯云数据库学堂认证体系 1. 腾讯云CloudLite-分布式数据库T
数据是企业的核心资产,数据库作为数据的载体,承担着至关重要的角色。它的性能、稳定性、可靠性、容灾以及安全成为企业应用的首要考量要素。数据库从技术上是如何实现以及实际中是如何服务于各个行业的呢?我们邀请到了数据库领域的各位大咖,为您详解目前主流数据库的技术,以及在各行业的应用实践。 活动时间 8月24日 周六 13:00-18:00 活动地点 广东省深圳市南山区高新园飞亚达科技大厦-5L 报名二维码 议题介绍 PostgreSQL各版本功能演进及未来版本特性展望 演讲嘉宾:张文升 -《P
对大多数人而言,今年的双十一可谓是无感而过。然而,这个「无感」正是今年支付宝技术团队的一个重要目标。
领取专属 10元无门槛券
手把手带您无忧上云