道路千万条,学习第一条;资源找不到,学生两行泪。MySQL属于开源产品,各种周边组件更是数不胜数。本文将介绍由3306π社区汇总的免费学习资源。
今天看数据库内核月报,发现一个蛮有意思的问题,就是show binary logs的时候没有任何结果,这个问题的原因很简单,但是分析问题的过程相比是艰辛的,需要在各种潜在的可能中找到那个肯定的结果。当然这个问题带给我的最大福利不是解决了这个问题,而是通过这个问题我们可以换一个思路来分析,比如说通过源码的方式来了解更多的细节。 我在自己的电脑上下载了MySQL近几个版本的源码,平时很少看,但是环境基本配置好了,就等待一些实用快捷的案例了。 首先复现下问题,我所测试的版本是5.6,使用
强调互联网,这是因为本文所讨论的前提是互联网应用。与“传统”应用不同,互联网中的应用每天面临的是海量的数据、大量的请求以及对系统可靠性和响应速度有着更高的要求。“传统”应用,我姑且浅显地认为是,数据量不大,面对的用户群范围相对较小,自然大量的高并发请求场景几乎不存在。
美团博客在技术圈里是非常优秀且质量很高的官网博客,全系硬通货的优秀内容:有技术架构、有算法应用、有搜索引擎实现、讲过风控策略、谈过Java动态追踪、分析过全链路监控,上百篇的高质量有实践根基的技术内容,让作为研发出身的搬砖码农,不只是你,还有我,都非常喜欢此类有强烈技术氛围的文章。
我自己在毕业的前 2 年,其实都是做的后端业务开发,后来才转到了数据库内核开发,结合我自己的实际经历,跟大家聊一聊这两种不同类型的岗位都有什么区别。我会分别从编程语言、难易程度、工作流程、市场就业、薪资情况、稳定性方面进行全方位对比,最后也会对两种方向的选择给出自己的建议。
新粉请关注我的公众号 今天和大家聊聊圈子里白嫖的事。 某HTAP数据库团队最近在其公众号上写文章,招募对数据库内核开发感兴趣的人员去给他们的开源项目做贡献。 这个贡献是什么呢?简单描述一下,这个HTAP产品,一边是A语言写的OLTP引擎,一边是B语言写的OLAP引擎。 在执行SQL的时候,OLTP里面已经实现的函数,需要在OLAP里用B语言再实现一遍。 否则的话,系统就没办法把包含了这部分函数的SQL操作给下推进OLAP系统执行。那SQL执行起来就死得难看了。 OLTP产品是兼容很成熟的某著名开源数据库,所
关注腾讯云大学,了解行业最新技术动态 直 播 预 告 详 情 9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精
上一回说到,在从业务转到基础架构岗位之后,我开发了自己的第二个开源项目 LotusDB,并且因为一些原因,我在 2022 年中,也就是去年上海解封之后,开始打算看看新的机会了。
9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精心准备的技术干货,一起为各位技术爱好者带来精彩的技术分享。下面
据CBC新闻网(CBC News)2016年5月报道,零售商店正在越来越多地使用面部识别技术。 面部识别技术此前主要被用于安保,该技术可扫描购物者并在商店扒手数据库内进行检索,在商店扒手进店时自动提醒管理员。但现在,商家开始将面部识别技术用于识别客户,FaceFirst等公司已针对店内部署调整其面部识别系统,帮助零售商跟踪客户行为,甚至用于促进优惠活动,例如向常客提供优惠价等;另外,还可将面部识别系统用于识别客户的人口统计学信息,以便相应定制店内营销。 报道称,英国的市场研究表明该国30%的零售商店都在使用
2022年1月13日,第十四届中国系统架构师大会(SACC2022)将在线召开,各位小伙伴足不出户就可以参会啦! 本次大会以“数字转型 架构重塑”核心主题,特设腾讯云数据库专场,多位腾讯云数据库技术大咖将带来腾讯云MySQL数据库产品架构、腾讯云图数据库KonisGraph与DBbridge产品演进的精彩分享,并深入解读TDSQL开源版的最新升级,包括从自主研发的HTAP分布式数据库引擎到TDSQL PG版执行器优化、内存管理优化、异地多活、分区表功能升级、可用性工具增强等多方面更新,力争为广大技术爱好者奉
12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《使用 TiDB 列存引擎进行实时数据分析》的主题演讲。
导语:读书是一生的功课,技术人通过读书实现自我提升,学习优秀技术沉淀。TEG读书会本期特邀腾讯金融云专家工程师李海翔、TEG计费平台部专家工程师雷海林、MySQL数据库专家姜承尧,为大家带来数据库方向好书推荐。来看看技术大牛在读什么,国庆遇见好书,愿本期书单助您更专业。 李海翔,腾讯金融云专家工程师,从事分布式数据库TDSQL研发工作。出版著作:《数据库查询优化器的艺术 原理解析与SQL性能优化》、《数据库事务处理的艺术 事务管理与并发控制》,广受好评。中国人民大学信息学院工程硕士企业导师。 理论类
作者:赖铮(Allen Lai),前 MySQL 官方团队成员,专注数据库内核开发近二十年,先后就职于达梦,Teradata,北大方正以及 MySQL InnoDB 存储引擎团队,是达梦数据库内核,方正 XML 数据库,以及 MySQL InnoDB 的 GIS 支持,透明加密功能的主要开发者。现任腾讯 TEG 云架构平台部数据库团队专家工程师,负责腾讯云 CDB 数据库内核的研发。 面试 2012 年的春天,阳光明媚,鸟语花香,我正在张江的一栋橙黄色的大楼里跟我的小伙伴们一起奋力
数据库内核技术是数据库的底层技术根基,腾讯云数据库在基础架构领域上一直坚持前沿技术探索与实际落地应用相结合,持续提升产品性能,助力企业国产化升级,推动国产数据库发展行稳致远。 近年来,腾讯云数据库积极拥抱云原生和国产化的趋势,致力于发展自研数据库技术,帮助全行业用户降低上云成本。其中腾讯云TDSQL已被3000多家来自金融、公共服务和电信垂直行业的客户采用,中国十大银行中的六家都应用了该产品。 5月7日19:00-21:40,腾讯云数据库"DB TALK"系列技术分享会第二期“数据库内核技术探秘”专场即
TDSQL-C再创佳绩 9月16日,Distributed Cloud|2021全球分布式云大会在上海召开,腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项,TDSQL-C 是腾讯自研的云原生分布式数据库(原CynosDB), 基于共享存储,实现了强大的扩展能力和超百万级QPS的高吞吐性能,深度定制的数据库内核TXSQL是支撑关键业务平稳运行的基石。 (云原生卓越技术提供商奖项) TDSQL-C的总体架构是基于共享存储,存储和计算分离的架构。 (传统的MySQL主备架构和TDSQL
近日,AntDB数据库成功入选《2022爱分析·信创厂商全景报告》信创数据库全景地图。报告综合考虑企业关注度、行业落地进展等因素,遴选出在信创市场中具备成熟解决方案和落地能力的厂商。
| 作者 赖铮(Allen Lai)前MySQL官方团队成员,专注数据库内核开发近二十年,先后就职于达梦,Teradata,北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核,方正XML数据库,以及MySQL InnoDB的GIS支持,透明加密功能的主要开发者。现任腾讯TEG云架构平台部数据库团队专家工程师,负责腾讯云MySQL数据库内核的研发。 ---- Part1 相遇 2012年的春天,我正在张江的一栋橙黄色的大楼里,窗外的阳光很好,我跟我的小伙伴们正在一起奋力地敲打着键盘,随着
非 root 用户运行 MySQL,当 MySQL 配置比较高时,MySQL 运行中生效的参数值与配置的值不一样,所以具体分析一下 MySQL 是怎么调整这些参数值的。
1月7日,一年一度的《PostgreSQL中国技术大会》将在线上召开,本次大会以“开源论道,创新驱动,共建数字化未来”为主题,重点围绕新场景、新技术、新应用等内容展开分享和讨论。 明天(本周六)上午)09:00-12:00,腾讯云数据库专场盛大开启,多位鹅厂顶级技术达人亮相,针对腾讯云PostgreSQL系列产品、技术亮点和创新实践案例做深入解读,6大主题畅游PG海洋。 腾讯云专场议程 议题一:TDSQL开源版的特性升级与演进(1月8日上午9:00-9:30) 分享嘉宾:陈再妮,腾讯云数据库高级工程师
10月20日,一年一度的数据库技术交流盛会——DTCC 2021(第十二届中国数据库技术大会)在京圆满落幕。 大会以“数造未来”为主题,重点围绕数据架构、人工智能与大数据应用、传统企业数据库实践和国产开源数据库等内容展开分享和探讨。 在本次数据库年度盛会交流平台上,腾讯云数据库团队集结多位顶级技术达人亮相,针对当前热门数据库技术主题,共同为大家带来了满满技术干货分享。 错过现场?没关系,一文带你回顾腾讯云数据库大咖演讲要点~ 数造未来 HTAP数据库解决方案、应用实践和未来发展 林晓斌,腾讯云数据库总经理
注:关于在PostgreSQL上面实现Oracle数据库的闪回功能(闪回查询 闪回表 闪回删除…)的这个想法已经有很长时间了,但是鉴于本人的能力 精力和身体条件 迟迟没有完成。期间也有很多的小伙伴跟我一起研究过这个功能,但是最终都因为各种各样的问题 没有做下去。Oracle数据库闪回功能跨越版本较大,功能也比较强大 在PostgreSQL数据库上实现,需要对数据库内核有很深入的理解 两大数据库不同的底层原理也终将影响各自的实现策略,PostgreSQL标记删除就地插入的特点和基于事务快照行可见性的特性是我们可以开发PostgreSQL闪回查询的大前提。本文主要介绍 实现闪回查询的 一种实现方案!
Linux阅码场内核月报栏目,是汇总当月Linux内核社区最重要的一线开发动态,方便读者们更容易跟踪Linux内核的最前沿发展动向。
作者介绍 孙旭,腾讯云高级工程师。10年数据库内核研发经验,熟悉PostgreSQL、Teradata数据库内核,熟悉数据库的查询优化、执行、事务并发以及存储等子系统;对分布式数据库有深入的研究和研发经验。目前在腾讯云从事CynosDB数据库研发工作。 一、导语 数据库查询处理(Query Processing)是数据库比较核心的技术,也是距离用户最近的子系统。数据库系统在除了实现事务的隔离界别外,还需要在SQL上做到一定程度的兼容,因为数据库本身就是在做查询处理,很多的内核模块工作都是为了支持这个功能
导语: 近日,腾讯云数据库又有两项数据库内核技术的最新研究成果分别入选了国际数据库顶级会议ICDE和SIGMOD的收录论文。其中,中国科技大学金培权老师团队和腾讯云原生数据库TDSQL-C(原CynosDB)内核团队联合发表的最新研究成果入选ICDE 2021。 该研究成果是基于双方与“2019年腾讯犀牛鸟基础平台技术专项计划”联合产生的产学合作成果。腾讯犀牛鸟基础平台技术专项计划旨在开放腾讯在基础平台层面的技术挑战,搭建产学研合作平台,共同推进技术应用落地与创新,并培育优秀人才。 1 近年来,随
上篇序言中我们讲述了源码解读系列的由来,在 Nebula Graph Overview 篇中我们将带你了解下 Nebula Graph 的架构以及代码仓分布、代码结构和模块规划。
疫情之下,很多大会转到线上。疫情隔断了大家的连接,隔断了人们的沟,但线上大会不能取代线下大会!
业界对于库存敏感的业务往往通过数据库进行库存方案的设计,那么基于数据库库存系统会有哪些坑呢?
本文介绍了腾讯云在2017年国内MySQL技术领域最具影响力的技术盛筵——ACMUG年会上的分享。分享了腾讯云数据库专家张青林分享的腾讯自研MySQL分支TXSQL的相关经验。主要从性能优化、企业级特性和线上稳定性等多个维度进行介绍,并透露了TXSQL在后续的内核规划,包括基于数据库内核的审计、数据加密等特性。
本文为「3306π」成都站系列专访,本期专访嘉宾为腾讯云TXSQL数据库研发工程师赖铮。 赖铮-腾讯 TXSQL数据库研发工程师 在即将举办的10月26日「3306π」成都站活动中,赖铮将分享腾讯云数据库TXSQL的内核新特性,诸如:异步删除大表,GTID复制功能扩展,隐藏列解决无主键表的复制延迟,新的事务调度算法等等,并详细介绍这些新特性的实现原理和使用方法。这些新特性极大的增强了腾讯云数据库的性能、稳定性和易用性,从而为腾讯云数据库的用户提供了更为完善的数据库服务。 以下是会前专访实录。 1、
今天,腾讯云两项数据库内核技术最新研究成果同时入选SIGMOD和ICDE的收录论文。 其中,SIGMOD、ICED、VLDB并称为国际数据库三大顶级会议。 先上干货: 成功入选2021年SIGMOD 研究类长文的论文主题为“Spitfire:A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory”。 在这篇论文中,腾讯云原生数据库内核团队首次提出了多级缓冲管理器Spitfire的概念,通过一种新颖、低代价且有效的热数据识别方法
之前发了一些文章: 《频繁插入,用什么存储引擎更合适?》 《MySQL性能调优,必须掌握这一个工具》 《数据库允许空值(null),往往是悲剧的开始》 《插入时,究竟发生了什么?》 数据库是应用开发中不可或缺的一环,很多朋友会问我,如何系统性学习数据库知识,今天和大家简单分享一下。 首先,要搞透数据库,要学哪几方面的知识? 以我对MySQL的学习为例,至少三个方面的内容需要了解与掌握的: 其一,应用层面:各行各业,是如何使用MySQL来解决各类业务问题的。 画外音:研发工程师必须掌握。 其二,内核层面:M
19年,传奇人物马斯克宣布了自己的火星移民计划,震惊世人。 可能很久之后,人类的未来真的是银河系的星辰大海,甚至是更加广阔的星际旅行。 目光放回当下,人类对太空的探索从未停止,而腾讯云数据库,也在为这项伟大的事业提供支持。就在去年,欧洲航天局将TDSQL PG版(原TBase)用于行星探索。这款数据库至今都在社区开源,为每个有梦想的人和企业提供免费的支持。 TDSQL PG版由PostgreSQL生态演化而来,在庞大的数据库家族中,PostgreSQL一直是个不可忽视的重要角色。经过长达15年以上的积极开
在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求。相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统。 作为腾讯云最早的 MySQL 生态的云数据库,CDB (TencentDB for MySQL) 不仅是腾讯云上规模最大、最受欢迎的数据库产品,同时在腾讯集团内部也承担了微信红包、微信广告、QQ 空间等重量级业务的数据库访问服务。为了保证数据库服务质量,解决原生数据库内核存在的性能、功能、稳定性等方面的问题,CDB 维护了自己的 MySQL 内核分支 TXSQ
MiniOB只有几万行, SQLLite只有二十多万行源码, 还有大神早就写了经典教材 《数据库系统实践》 《数据库系统概念》
为拓展用户对云原生的价值认知的视角,全面展现云原生对技术架构演进、商业模式重塑和产业布局重构的核心价值,进一步推动云原生产业健康有序发展,中国信息通信研究院于6月15日举办第四届云原生产业大会,大会的主题是“原生聚力,云数赋能”。 全面云原生化的云时代即将到来,作为云原生领域盛会,本次大会将邀请云原生业界顶级专家代表共探云原生产业发展方向,见证云原生发展阶段性成果,分享云原生应用先进经验。 腾讯云数据库专家团将在本次大会中亮相,腾讯云数据库技术负责人程彬在6月15日主论坛分享云原生时代数据库的技术沿革,6
2018年10月13日ACMUG南京站,来自腾讯技术工程事业群TEG基础架构部数据库内核团队专家工程师王少华,做了主题为「TXSQL Internals@2018」的分享。
腾讯云数据库国产数据库专题线上技术沙龙已圆满结束,本期带来赖铮分享的《庖丁解牛:腾讯云CDB内核架构及亮点功能解密》直播视频和文字回顾。 关注“腾讯云数据库”公众号,回复“0530赖铮”,即可下载直播分享PPT。 大家下午好。非常高兴今天下午有这个机会和大家做一个分享。首先做一个简单的自我介绍,我叫赖铮,现在是腾讯云CDB/CynosDB内核的架构师,我之前一直都是从事于数据库内核的研发工作,差不多20年。之前在达梦,Teradata和Oracle都工作过。在Oracle的时候是在MySQL InnoDB
在ODF2018开源数据库论坛暨首届MariaDB中国用户者大会上,来自腾讯技术工程事业群TEG基础架构部数据库内核团队资深架构师王少华,做了主题为「TXSQL Internals@2018」的分享。 我们同步了嘉宾现场沙龙分享视频,请点击下方「腾讯技术课小程序」卡片即可查看: 同时附上整理好的演讲稿: CDB作为公司规模最大的关系型数据库服务平台,为公司内部业务和腾讯云提供native MySQL服务。从最初重点支持社交、游戏等场景业务,到今天覆盖了游戏、移动互联网和金融等全场景业务,CDB在
2023年8月16日~18日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第14届中国数据库技术大会(DTCC2023)将在北京国际会议中心隆重召开。大会以“数智赋能 共筑未来”为主题,邀请超百位行业专家就数据库内核解析、向量数据库、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨,为广大数据领域从业人士提供一场年度的饕餮盛宴。
随着时代的发展,企业的在线业务量也随之骤增,海量的数据访问和存储压力已经触达了传统集中式数据库的能力边界,无法为客户带来更快更稳定的业务性能。同时,企业对数据库技术自主可控的要求也更加迫切,国产数据库在自研技术和产品能力上的“肌肉”就显得尤为重要。为此,我们特推出DBTalk《腾讯云数据库自研荟》系列技术沙龙,在线解读腾讯在自研数据库领域取得的突破和实践,助力用户更低成本和更高效率实现数字化转型。 对于过去部署在海外商业数据库上,要将数据迁移至国产数据库的政企来说,会遇到从选型,到迁移,再到业务正常运行的全
2022年6月,腾讯云数据库TDSQL PG版 Oracle兼容能力以及TDSQL-A两大引擎全新升级,Oracle兼容性和海量数据查询分析能力再上新台阶。 升级后的TDSQL PG版 Oracle兼容能力将进一步降低用户迁移改造成本,全面支持存储过程、Package管理等高级特性,同时支持分布式和集中式两种架构,用户可以根据业务需要从集中式无缝升级至分布式。 海量数据分析能力也迎来了全面升级,TDSQL分布式分析型引擎TDSQL-A自研列存储引入延迟读取、过滤下推、自适应行列转换等能力,支持更加丰富的使
本次分享将介绍Pigsty:PostgreSQL RDS的Me-Better开源替代。Pigsty是如何从可观测性,可靠性,可维护性,可用性,可扩展性与安全性六个维度上,让裸奔的PostgreSQL内核成为全盛状态的六边形战士,以云数据库5%~30%的成本,提供更好的生产级关系型数据库服务(RDS)。
2023年4月7-8日,由中国DBA联盟(ACDU)和墨天轮社区联合主办的第十二届『数据技术嘉年华』(DTC 2023)在北京成功举办。云和恩墨作为大会的协办方和深度参与者,以6场演讲+2大展台全面呈现公司的全栈数据技术能力,为大会奉献了让人耳目一新的交流体验,推动中国数据库产业开拓前行。
之前再和朋友一起讨论之后,从一个牛逼公司得来的整体shell告警方案,今天看来这个比较牛逼的Python技术再次刷新了我对Python重新认识!! 在多个运维技术分享中都会谈及到“告警风暴”这个词,即
据国际权威机构Statista统计和预测数据指出,到2035年,全球数据产生量增长预计将达到2142ZB(1ZB约1万亿GB))。 信息技术的不断发展,也在驱动催生许多新的数据业务场景,这也意味着,这些新的业务和海量的数据对数据库能力提出了新的要求。而这些新的要求,也亟需新技术来满足。 自上月TDSQL- A公有云版本发布以来,腾讯云数据库就对其核心架构进行了整体介绍和深入的解读,但除此之外,TDSQL-A仍有不少值得一提的“硬核新技术”。 6月5日14:30~17:00,5位技术大咖将共同对TDSQL-
墨天轮社区每个月都会出一个国产数据库的榜单,就像国内版的DB-Engines,通过他可以了解每个月国产数据库的方向,
本文嘉宾:赖铮,腾讯TEG基础架构部数据库团队专家工程师,负责腾讯TXSQL数据库内核的研发,数据库系统开发老将,专注数据库内核开发十余年,先后就职于达梦、Teradata、北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核、方正XML数据库以及InnoDB的GIS支持,加密功能的主要开发者,并获得多项数据库领域的专利。 本文是腾讯TEG基础架构部数据库团队专家工程师赖铮在腾讯云与3306π联合举办的数据库技术沙龙上的演讲实录。 ---- 今天分享时长四十分钟左右,详细解释腾讯云数据库内
领取专属 10元无门槛券
手把手带您无忧上云