2022年1月13日,第十四届中国系统架构师大会(SACC2022)将在线召开,各位小伙伴足不出户就可以参会啦! 本次大会以“数字转型 架构重塑”核心主题,特设腾讯云数据库专场,多位腾讯云数据库技术大咖将带来腾讯云MySQL数据库产品架构、腾讯云图数据库KonisGraph与DBbridge产品演进的精彩分享,并深入解读TDSQL开源版的最新升级,包括从自主研发的HTAP分布式数据库引擎到TDSQL PG版执行器优化、内存管理优化、异地多活、分区表功能升级、可用性工具增强等多方面更新,力争为广大技术爱好者奉
2018年10月13日ACMUG南京站,来自腾讯技术工程事业群TEG基础架构部数据库内核团队专家工程师王少华,做了主题为「TXSQL Internals@2018」的分享。
在ODF2018开源数据库论坛暨首届MariaDB中国用户者大会上,来自腾讯技术工程事业群TEG基础架构部数据库内核团队资深架构师王少华,做了主题为「TXSQL Internals@2018」的分享。 我们同步了嘉宾现场沙龙分享视频,请点击下方「腾讯技术课小程序」卡片即可查看: 同时附上整理好的演讲稿: CDB作为公司规模最大的关系型数据库服务平台,为公司内部业务和腾讯云提供native MySQL服务。从最初重点支持社交、游戏等场景业务,到今天覆盖了游戏、移动互联网和金融等全场景业务,CDB在
导语:读书是一生的功课,技术人通过读书实现自我提升,学习优秀技术沉淀。TEG读书会本期特邀腾讯金融云专家工程师李海翔、TEG计费平台部专家工程师雷海林、MySQL数据库专家姜承尧,为大家带来数据库方向好书推荐。来看看技术大牛在读什么,国庆遇见好书,愿本期书单助您更专业。 李海翔,腾讯金融云专家工程师,从事分布式数据库TDSQL研发工作。出版著作:《数据库查询优化器的艺术 原理解析与SQL性能优化》、《数据库事务处理的艺术 事务管理与并发控制》,广受好评。中国人民大学信息学院工程硕士企业导师。 理论类
TDSQL-C再创佳绩 9月16日,Distributed Cloud|2021全球分布式云大会在上海召开,腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项,TDSQL-C 是腾讯自研的云原生分布式数据库(原CynosDB), 基于共享存储,实现了强大的扩展能力和超百万级QPS的高吞吐性能,深度定制的数据库内核TXSQL是支撑关键业务平稳运行的基石。 (云原生卓越技术提供商奖项) TDSQL-C的总体架构是基于共享存储,存储和计算分离的架构。 (传统的MySQL主备架构和TDSQL
关注腾讯云大学,了解行业最新技术动态 直 播 预 告 详 情 9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精
9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精心准备的技术干货,一起为各位技术爱好者带来精彩的技术分享。下面
本文介绍了腾讯云在2017年国内MySQL技术领域最具影响力的技术盛筵——ACMUG年会上的分享。分享了腾讯云数据库专家张青林分享的腾讯自研MySQL分支TXSQL的相关经验。主要从性能优化、企业级特性和线上稳定性等多个维度进行介绍,并透露了TXSQL在后续的内核规划,包括基于数据库内核的审计、数据加密等特性。
在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求。相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统。 作为腾讯云最早的 MySQL 生态的云数据库,CDB (TencentDB for MySQL) 不仅是腾讯云上规模最大、最受欢迎的数据库产品,同时在腾讯集团内部也承担了微信红包、微信广告、QQ 空间等重量级业务的数据库访问服务。为了保证数据库服务质量,解决原生数据库内核存在的性能、功能、稳定性等方面的问题,CDB 维护了自己的 MySQL 内核分支 TXSQ
Mycat是什么 Mycat - 数据库分库分表中间件,国内最活跃的、性能最好的开源数据库中间件! 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的数据库中间件产品 Mycat关键特性 支持SQL92标准 支持MySQL、Orac
作者:赖铮(Allen Lai),前 MySQL 官方团队成员,专注数据库内核开发近二十年,先后就职于达梦,Teradata,北大方正以及 MySQL InnoDB 存储引擎团队,是达梦数据库内核,方正 XML 数据库,以及 MySQL InnoDB 的 GIS 支持,透明加密功能的主要开发者。现任腾讯 TEG 云架构平台部数据库团队专家工程师,负责腾讯云 CDB 数据库内核的研发。 面试 2012 年的春天,阳光明媚,鸟语花香,我正在张江的一栋橙黄色的大楼里跟我的小伙伴们一起奋力
本文嘉宾:赖铮,腾讯TEG基础架构部数据库团队专家工程师,负责腾讯TXSQL数据库内核的研发,数据库系统开发老将,专注数据库内核开发十余年,先后就职于达梦、Teradata、北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核、方正XML数据库以及InnoDB的GIS支持,加密功能的主要开发者,并获得多项数据库领域的专利。 本文是腾讯TEG基础架构部数据库团队专家工程师赖铮在腾讯云与3306π联合举办的数据库技术沙龙上的演讲实录。 ---- 今天分享时长四十分钟左右,详细解释腾讯云数据库内
| 作者 赖铮(Allen Lai)前MySQL官方团队成员,专注数据库内核开发近二十年,先后就职于达梦,Teradata,北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核,方正XML数据库,以及MySQL InnoDB的GIS支持,透明加密功能的主要开发者。现任腾讯TEG云架构平台部数据库团队专家工程师,负责腾讯云MySQL数据库内核的研发。 ---- Part1 相遇 2012年的春天,我正在张江的一栋橙黄色的大楼里,窗外的阳光很好,我跟我的小伙伴们正在一起奋力地敲打着键盘,随着
为什么?因为部分公司的DB人员和运维人员没有什么区别,这就是导致上述词汇和印象的原因之一。
“删库跑路”作为调侃程序猿的梗一直以来广为流传,但是当真的发生的时候,犹如黑天鹅降临,瞬间业务全线停摆,造成难以估量的损失。在SaaS领域举足轻重的服务提供商微盟,就刚刚经历了这样一场没有硝烟又争分夺秒的战争。 一周前,微盟部署在自建MySQL数据库上的核心业务数据,被微盟某运维人员用一种让程序员闻风丧胆的Linux系统下文件删除命令,整体进行了不可逆的删除。更残酷的是,备份数据也一起删除了。 所有微盟平台上的用户和商家业务因此被迫停滞了一周,而服务没有恢复的每一分每一秒都是收入和用户的损失,这次删库
数据库与操作系统、中间件组成了基础软件的三驾马车,也是企业 IT 系统必不可少的核心技术。从上世纪 60 年代诞生至今,不论是互联网行业还是银行、电信、制造等传统行业,都依赖着数据库技术的演进。 在步入云原生时代以后,传统数据库在服务可用性、数据可靠性、系统安全性、数据库备份、软硬件投入、系统托管、维护成本、部署扩容、资源利用率等关键方面都有所欠缺。在此背景下,分布式数据库系统获得了令人振奋的发展,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便
OceanBase 数据库采用了单集群多租户设计,天然支持云数据库架构,支持公有云、私有云、混合云等多种部署形式。
2023年8月16日~18日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第14届中国数据库技术大会(DTCC2023)将在北京国际会议中心隆重召开。大会以“数智赋能 共筑未来”为主题,邀请超百位行业专家就数据库内核解析、向量数据库、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨,为广大数据领域从业人士提供一场年度的饕餮盛宴。
- 概念:分区是在数据库内部层面将一张大表的数据分割成多个更小的部分,每个部分称为一个分区。尽管从逻辑上看仍然是一个完整的表,但在物理层面上,数据被分布在不同的物理区块上,这些区块可以位于同一台服务器的不同硬盘分区,或甚至是不同服务器上。MySQL支持多种分区类型,如范围分区、列表分区、哈希分区等。
概述 最近几年,特别是随着云计算的发展,出现了行业向后重叠和推动的情况。数据库龙头企业Oracle最近几年重点转而向云的变革,它全力以赴在做的一件事情就是把所有的产品和服务转移到云上来。云技术改变了数
数据库内核技术是数据库的底层技术根基,腾讯云数据库在基础架构领域上一直坚持前沿技术探索与实际落地应用相结合,持续提升产品性能,助力企业国产化升级,推动国产数据库发展行稳致远。 近年来,腾讯云数据库积极拥抱云原生和国产化的趋势,致力于发展自研数据库技术,帮助全行业用户降低上云成本。其中腾讯云TDSQL已被3000多家来自金融、公共服务和电信垂直行业的客户采用,中国十大银行中的六家都应用了该产品。 5月7日19:00-21:40,腾讯云数据库"DB TALK"系列技术分享会第二期“数据库内核技术探秘”专场即
当前,云原生数据库Serverless化已成为云数据库的重要演进方向。9月7日,在2023腾讯全球数字生态大会云原生数据库技术演进与实践专场上,腾讯云分享了在该领域的多项前沿探索和核心技术解析,并重磅发布云原生数据库TDSQL- C Serverless 2.0版本,为广大企业运用云原生数据库提升业务能力提供了有效参考。
1月7日,一年一度的《PostgreSQL中国技术大会》将在线上召开,本次大会以“开源论道,创新驱动,共建数字化未来”为主题,重点围绕新场景、新技术、新应用等内容展开分享和讨论。 明天(本周六)上午)09:00-12:00,腾讯云数据库专场盛大开启,多位鹅厂顶级技术达人亮相,针对腾讯云PostgreSQL系列产品、技术亮点和创新实践案例做深入解读,6大主题畅游PG海洋。 腾讯云专场议程 议题一:TDSQL开源版的特性升级与演进(1月8日上午9:00-9:30) 分享嘉宾:陈再妮,腾讯云数据库高级工程师
在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求。相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统。 作为腾讯云最早的 MySQL 生态的云数据库,CDB (TencentDB for MySQL) 不仅是腾讯云上规模最大、最受欢迎的数据库产品,同时在腾讯集团内部也承担了微信红包、微信广告、QQ 空间等重量级业务的数据库访问服务。为了保证数据库服务质量,解决原生数据库内核存在的性能、功能、稳定性等方面的问题,CDB 维护了自己的 MySQL 内核分支 TX
近日,腾讯云MySQL发布新架构,在基础硬件能力、自研内核及外部网络延迟等方面进行了全面升级。 在探究新版本实际性能的过程中,测试人员通过基准测试工具SysBench以及全仿真业务生产环境,分别针对只写、只读以及混合读写场景进行性能测试。其结果显示,新架构下的云数据库MySQL在性能上比原有架构提升20%。此外,通过TXSQL内核的更新,也为企业提供了更多实用的能力。 本次发布的云数据库MySQL新架构搭载最新的腾讯自研数据库内核TXSQL,不仅提供了如Parallel DDL、缓存快照主从同步等性能增强
作者 | 张甦, 数据库领域的专家和知名人士、图书《MySQL王者晋级之路》作者,51CTO 专家博主。近10年互联网线上处理及培训经验,专注于 MySQL 数据库,对 MongoDB、Redis 等 NoSQL 数据库以及 Hadoop 生态圈相关技术有深入研究,具备非常丰富的理论与实战经验。
之前发了一些文章: 《频繁插入,用什么存储引擎更合适?》 《MySQL性能调优,必须掌握这一个工具》 《数据库允许空值(null),往往是悲剧的开始》 《插入时,究竟发生了什么?》 数据库是应用开发中不可或缺的一环,很多朋友会问我,如何系统性学习数据库知识,今天和大家简单分享一下。 首先,要搞透数据库,要学哪几方面的知识? 以我对MySQL的学习为例,至少三个方面的内容需要了解与掌握的: 其一,应用层面:各行各业,是如何使用MySQL来解决各类业务问题的。 画外音:研发工程师必须掌握。 其二,内核层面:M
为拓展用户对云原生的价值认知的视角,全面展现云原生对技术架构演进、商业模式重塑和产业布局重构的核心价值,进一步推动云原生产业健康有序发展,中国信息通信研究院于6月15日举办第四届云原生产业大会,大会的主题是“原生聚力,云数赋能”。 全面云原生化的云时代即将到来,作为云原生领域盛会,本次大会将邀请云原生业界顶级专家代表共探云原生产业发展方向,见证云原生发展阶段性成果,分享云原生应用先进经验。 腾讯云数据库专家团将在本次大会中亮相,腾讯云数据库技术负责人程彬在6月15日主论坛分享云原生时代数据库的技术沿革,6
腾讯云数据库国产数据库专题线上技术沙龙已圆满结束,本期带来赖铮分享的《庖丁解牛:腾讯云CDB内核架构及亮点功能解密》直播视频和文字回顾。 关注“腾讯云数据库”公众号,回复“0530赖铮”,即可下载直播分享PPT。 大家下午好。非常高兴今天下午有这个机会和大家做一个分享。首先做一个简单的自我介绍,我叫赖铮,现在是腾讯云CDB/CynosDB内核的架构师,我之前一直都是从事于数据库内核的研发工作,差不多20年。之前在达梦,Teradata和Oracle都工作过。在Oracle的时候是在MySQL InnoDB
腾讯云资深架构师王少华日前在 2018 开源数据库论坛(ODF)暨首届MariaDB中国用户者 大会上做了主题为“TXSQL Internals @2018”的主题演讲,本次分享从五个方面介绍TXSQL。
美团点评技术沙龙由美团点评技术团队主办,每月一期,每期沙龙邀请美团点评及其它互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域。 本次沙龙主要围绕数据库相关的主题,内容包括美团数据库自动化运维系统构建、点评侧MySQL自动化服务平台RDS、美团数据库中间件、和小米高级DBA带来的Redis Cluster的大规模运维实践。 讲师简介 平仲,美团点评高级DBA,现负责美团点评数据库中间件Atlas的开发;主要工作经历从事于数据库内核及中间件开发。 概述 这次分享的主要内容包括6个部分: 第一是我的
近期,MySQL 官方宣布了正式在 MySQL 中引入了 JavaScript 支持!
在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求。相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统。
背景:5月23-24日,以“焕启”为主题的腾讯“云+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展。 腾讯MySQL内核研发
作者简介:程彬,腾讯基础架构部数据库研发负责人。2008年毕业加入腾讯,一直从事数据存储相关研发工作;在云计算浪潮涌来之时参与到腾讯云存储产品的打造。目前在腾讯TEG基础架构部,负责数据库(CDB)和云硬盘(CBS)研发相关工作。
10月20日,一年一度的数据库技术交流盛会——DTCC 2021(第十二届中国数据库技术大会)在京圆满落幕。 大会以“数造未来”为主题,重点围绕数据架构、人工智能与大数据应用、传统企业数据库实践和国产开源数据库等内容展开分享和探讨。 在本次数据库年度盛会交流平台上,腾讯云数据库团队集结多位顶级技术达人亮相,针对当前热门数据库技术主题,共同为大家带来了满满技术干货分享。 错过现场?没关系,一文带你回顾腾讯云数据库大咖演讲要点~ 数造未来 HTAP数据库解决方案、应用实践和未来发展 林晓斌,腾讯云数据库总经理
Apache Hive 是基于 Apache Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并且提供了 Hive SQL 进行查询和分析,在离线数仓中被广泛使用。
自2015年开始,手游从萌芽期发展到如今炙手可热的领域,发展的速度之快一定推动了背后技术的改革换新,传统的技术为了适应新时代的变化,也会不断进化,而Tendis的出现也让所有关注朋友们眼前一亮,那么,如何打造一款受欢迎的KV存储数据库? 5月22日08:50-18:00,3306π将集结多位行业专家,在广东广州天河区黄埔大道中322号粤大金融城国际酒店六楼平安厅与大家相约互动,点击「阅读原文」即可报名。 此次活动中,腾讯云数据库专家工程师,Tendis技术负责人陈福荣也将分享《如何打造一款受欢迎的KV存储
当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 单表优化 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量: 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT,如果非负则加上UNSIGNED VARCHA
MySQL为多线程架构后台有多个线程处理内部操作例如:刷脏、Undo purge、checkpoint等,整体上MySQL分为两层Server/存储引擎。存储引擎层可支持多种,Server层负责接收请求对于每个请求创建新的线程,同时SQL解析、查询优化、复制都是在Server处理。
随着近些年来内外部形势的剧烈变化及企业自身发展诉求,国内企业愈发重视基础软件的自主可控。特别是对于某些涉及国计民生的重点行业,监管层面也提出了非常明确的指导意见,在指定时间内完成技术改造。作为核心技术软件之一,数据库在其中无疑扮演着重要的角色,且具有非常高的复杂性。一方面是作为基础软件之一,数据库自身复杂度就比较高;另一方面近些年数据库技术发展迅猛,以分布式、多模、HTAP为代表新型数据库架构不断涌现。这些都会带来较高的复杂度,同时我们也看到国内数据库发展活跃、厂商产品能力参差不齐,用户在选型、研发、迁移、使用上面临诸多痛点。特别是在整体改造的最后阶段,涉及将系统从原有技术栈迁移到新技术栈,这其中蕴含了较多工作及风险。本文尝试从信创改造角度出发,重点谈在改造中往往处于最后改造的数据库部分,即所谓信创改造“最后一公里”所面临的痛点问题及可能解决思路。
所有这些信息都可以传递给mysql命令行实用程序,或输入到MySQL Administrator和MySQL Query Browser的服务器连接屏幕。
以下文章来源于鹅厂架构师 ,作者TDSQL-C 云原生数据库TDSQL-C作为腾讯云架构平台部核心数据库产品之一,致力于为云上ToB用户和公司自研业务提供集高性能、低成本、大存储、低延迟、秒级扩缩容、极速回档、Serverless化七大特性于一体的企业级数据库服务。本文将给大家分享《TDSQL-C (原CynosDB)容灾的实践和探索》,主要内容有以下三个方面: 1 云原生数据库和传统数据库的架构对比 2 MySQL数据库的容灾部署模型 3 TDSQL-C 异地容灾系统的实践 云原生数据库和传统数据
除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量:
本文介绍最近几年美团点评MySQL数据库高可用架构的演进过程,以及我们在开源技术基础上做的一些创新。同时,也和业界其它方案进行综合对比,了解业界在高可用方面的进展,和未来我们的一些规划和展望。 MMM
除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量。
|原文链接:https://segmentfault.com/a/1190000006158186
当 MySQL 单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化。 单表优化 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候 MySQL 单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量: 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT,如果非负则加上UNSIGNED; VARCHAR的
领取专属 10元无门槛券
手把手带您无忧上云