我自己在毕业的前 2 年,其实都是做的后端业务开发,后来才转到了数据库内核开发,结合我自己的实际经历,跟大家聊一聊这两种不同类型的岗位都有什么区别。我会分别从编程语言、难易程度、工作流程、市场就业、薪资情况、稳定性方面进行全方位对比,最后也会对两种方向的选择给出自己的建议。
新粉请关注我的公众号 今天和大家聊聊圈子里白嫖的事。 某HTAP数据库团队最近在其公众号上写文章,招募对数据库内核开发感兴趣的人员去给他们的开源项目做贡献。 这个贡献是什么呢?简单描述一下,这个HTAP产品,一边是A语言写的OLTP引擎,一边是B语言写的OLAP引擎。 在执行SQL的时候,OLTP里面已经实现的函数,需要在OLAP里用B语言再实现一遍。 否则的话,系统就没办法把包含了这部分函数的SQL操作给下推进OLAP系统执行。那SQL执行起来就死得难看了。 OLTP产品是兼容很成熟的某著名开源数据库,所
上一回说到,在从业务转到基础架构岗位之后,我开发了自己的第二个开源项目 LotusDB,并且因为一些原因,我在 2022 年中,也就是去年上海解封之后,开始打算看看新的机会了。
导语:读书是一生的功课,技术人通过读书实现自我提升,学习优秀技术沉淀。TEG读书会本期特邀腾讯金融云专家工程师李海翔、TEG计费平台部专家工程师雷海林、MySQL数据库专家姜承尧,为大家带来数据库方向好书推荐。来看看技术大牛在读什么,国庆遇见好书,愿本期书单助您更专业。 李海翔,腾讯金融云专家工程师,从事分布式数据库TDSQL研发工作。出版著作:《数据库查询优化器的艺术 原理解析与SQL性能优化》、《数据库事务处理的艺术 事务管理与并发控制》,广受好评。中国人民大学信息学院工程硕士企业导师。 理论类
疫情之下,很多大会转到线上。疫情隔断了大家的连接,隔断了人们的沟,但线上大会不能取代线下大会!
关注腾讯云大学,了解行业最新技术动态 直 播 预 告 详 情 9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精
9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精心准备的技术干货,一起为各位技术爱好者带来精彩的技术分享。下面
1月7日,一年一度的《PostgreSQL中国技术大会》将在线上召开,本次大会以“开源论道,创新驱动,共建数字化未来”为主题,重点围绕新场景、新技术、新应用等内容展开分享和讨论。 明天(本周六)上午)09:00-12:00,腾讯云数据库专场盛大开启,多位鹅厂顶级技术达人亮相,针对腾讯云PostgreSQL系列产品、技术亮点和创新实践案例做深入解读,6大主题畅游PG海洋。 腾讯云专场议程 议题一:TDSQL开源版的特性升级与演进(1月8日上午9:00-9:30) 分享嘉宾:陈再妮,腾讯云数据库高级工程师
2022年1月13日,第十四届中国系统架构师大会(SACC2022)将在线召开,各位小伙伴足不出户就可以参会啦! 本次大会以“数字转型 架构重塑”核心主题,特设腾讯云数据库专场,多位腾讯云数据库技术大咖将带来腾讯云MySQL数据库产品架构、腾讯云图数据库KonisGraph与DBbridge产品演进的精彩分享,并深入解读TDSQL开源版的最新升级,包括从自主研发的HTAP分布式数据库引擎到TDSQL PG版执行器优化、内存管理优化、异地多活、分区表功能升级、可用性工具增强等多方面更新,力争为广大技术爱好者奉
随着技术的发展,DBA所做的工作不仅仅是对数据库的维护,所需要的知识可能更多,本文从开发语言、硬件、运维工具、关联软件,网络知识、Linux技能、数据库类型和数据库技能等八个方面对DBA技术栈进行总结,每种分类的简要内容如下: 开发语言: 开发语言可以分为四类,运维开发语言,数据库运维,大数据开发语言,数据库内核开发,牵扯的语言主要是Python,Shell和Go等 硬件方面: RAID卡,SSD固态硬盘,网卡等 运维工具: 包含运维部署工具,监控报警工具,日常运维工具以及一系列压测工具。 关联软件: 包括消息队列,缓存,搜索,服务发现,审计和版本控制等 网络方面: 包含TCP/IP,ethtool,iptables,DNS以及网络硬件 Linux技能: 常用命令,文件系统,系统层命令,IO管理层命令 数据库种类: 关系型(MySQL,SQL server,Oracle),新型数据库(mongodb),大数据(Hbase)。 数据库技能: 数据库开发规范,事务,锁,索引,存储引擎,备份恢复,中间件,优化,高可用,SQL审核 后续随着技术的进步,可能还需要进行一系列的补充。
本文介绍了腾讯云在2017年国内MySQL技术领域最具影响力的技术盛筵——ACMUG年会上的分享。分享了腾讯云数据库专家张青林分享的腾讯自研MySQL分支TXSQL的相关经验。主要从性能优化、企业级特性和线上稳定性等多个维度进行介绍,并透露了TXSQL在后续的内核规划,包括基于数据库内核的审计、数据加密等特性。
作者:赖铮(Allen Lai),前 MySQL 官方团队成员,专注数据库内核开发近二十年,先后就职于达梦,Teradata,北大方正以及 MySQL InnoDB 存储引擎团队,是达梦数据库内核,方正 XML 数据库,以及 MySQL InnoDB 的 GIS 支持,透明加密功能的主要开发者。现任腾讯 TEG 云架构平台部数据库团队专家工程师,负责腾讯云 CDB 数据库内核的研发。 面试 2012 年的春天,阳光明媚,鸟语花香,我正在张江的一栋橙黄色的大楼里跟我的小伙伴们一起奋力
MiniOB只有几万行, SQLLite只有二十多万行源码, 还有大神早就写了经典教材 《数据库系统实践》 《数据库系统概念》
| 作者 赖铮(Allen Lai)前MySQL官方团队成员,专注数据库内核开发近二十年,先后就职于达梦,Teradata,北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核,方正XML数据库,以及MySQL InnoDB的GIS支持,透明加密功能的主要开发者。现任腾讯TEG云架构平台部数据库团队专家工程师,负责腾讯云MySQL数据库内核的研发。 ---- Part1 相遇 2012年的春天,我正在张江的一栋橙黄色的大楼里,窗外的阳光很好,我跟我的小伙伴们正在一起奋力地敲打着键盘,随着
导读:日前,华为公司在京面向全球发布了人工智能原生(AI-Native)数据库GaussDB和业界性能的分布式存储FusionStorage 8.0,将多年的AI技术和能力以及数据库经验融入到新品,实现很多创新性突破,比如人工智能技术融入分布式数据库的全生命周期、一套存储可同时支持块、文件、对象、HDFS协议等。
据国际权威机构Statista统计和预测数据指出,到2035年,全球数据产生量增长预计将达到2142ZB(1ZB约1万亿GB))。 信息技术的不断发展,也在驱动催生许多新的数据业务场景,这也意味着,这些新的业务和海量的数据对数据库能力提出了新的要求。而这些新的要求,也亟需新技术来满足。 自上月TDSQL- A公有云版本发布以来,腾讯云数据库就对其核心架构进行了整体介绍和深入的解读,但除此之外,TDSQL-A仍有不少值得一提的“硬核新技术”。 6月5日14:30~17:00,5位技术大咖将共同对TDSQL-
墨墨导读:日前,华为公司在京面向全球发布了人工智能原生(AI-Native)数据库GaussDB和业界性能的分布式存储FusionStorage 8.0,将多年的AI技术和能力以及数据库经验融入到新品,实现很多创新性突破,比如人工智能技术融入分布式数据库的全生命周期、一套存储可同时支持块、文件、对象、HDFS协议等。
2022 年 12 月 19 日、28 日,经 Apache IoTDB 社区投票,张洪胤、朱海铭成为 Apache IoTDB Committer,而这两位同学都深度参与了 1.0 版本物联网共识协议 IoTConsensus 的开发中。今天将和大家分享他们两位与 Apache IoTDB 的故事。
Think技术社区是一个专注于IT技术分享的线下社区,社区由广大互联网技术的爱好者,工作者,支持者组成,致力于举办专业的,有创见的,具有广泛影响力的互联网社区聚会,为广大社区成员提供最佳的知识交流和自由分享的平台。在这一理念的支持下,Think技术社区与社区的所有成员共同致力于互联网技术的推广,普及和运用,努力为社会,企业,个人创造更大的价值。
数据库调优可以使数据库应用运行得更快,但对于很多人来说,对数据库内核进行调优是一项很有挑战的“技术活”,是只属于少部分内核研发们的“游戏”。但即使是他们,对数据库内核进行性能调优,也充满了不确定性,它需要综合考虑各种复杂因素,如硬件层面的 CPU、 I/O、 内存和网络,以及软件层面关于操作系统、中间件、数据库参数等配置,还有运行在数据库上的各种查询和命令等。在本次 Hackathon 2021 比赛中,TPC 战队就完成了这一项“挑战”,采用 bottom-up 的设计思路,更好地利用硬件资源,使用 TPC (thread-per-core) 线程模型优化了 TiKV 的写入性能、性能稳定性和自适应能力。TPC 战队也凭借这一硬核项目一举斩获了三等奖与技术潜力奖。
腾讯云数据库国产数据库专题线上技术沙龙已圆满结束,本期带来赖铮分享的《庖丁解牛:腾讯云CDB内核架构及亮点功能解密》直播视频和文字回顾。 关注“腾讯云数据库”公众号,回复“0530赖铮”,即可下载直播分享PPT。 大家下午好。非常高兴今天下午有这个机会和大家做一个分享。首先做一个简单的自我介绍,我叫赖铮,现在是腾讯云CDB/CynosDB内核的架构师,我之前一直都是从事于数据库内核的研发工作,差不多20年。之前在达梦,Teradata和Oracle都工作过。在Oracle的时候是在MySQL InnoDB
历经一年时间,Gdevops全球敏捷运维峰会再次从成都、上海、北京成功巡回至广州,即将于11月30日举办2018年度收官盛会!
万物互联和大数据技术的发展,让我们的生活更加活色生香,其背后离不开安全、稳定可靠的服务器系统。
图数据模型是一种对数据进行建模的方式。当下图数据模型中用的最多的建模方式是:属性图(Property Graph)。本文会探讨下属性图模型的基本概念和所面临的一些挑战。
本文主要介绍openGauss中常见的索引结构,索引相关元数据,并结合代码重点讲解B-tree索引使用过程中的重要流程,希望对大家理解openGauss中的索引有所帮助。
本文嘉宾:赖铮,腾讯TEG基础架构部数据库团队专家工程师,负责腾讯TXSQL数据库内核的研发,数据库系统开发老将,专注数据库内核开发十余年,先后就职于达梦、Teradata、北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核、方正XML数据库以及InnoDB的GIS支持,加密功能的主要开发者,并获得多项数据库领域的专利。 本文是腾讯TEG基础架构部数据库团队专家工程师赖铮在腾讯云与3306π联合举办的数据库技术沙龙上的演讲实录。 ---- 今天分享时长四十分钟左右,详细解释腾讯云数据库内
伴随云计算的迅猛发展,数据库也进入了云时代。云数据库不断涌现,产品越来越成熟和智能,作为数据库管理员的DBA将面临哪些机遇和挑战?又应该具备什么能力,才能应对未来的不确定性?
MySQL 是最为流行的开源关系型数据库之一,有关它的使用、优化和运维处理相关的文章汗牛充栋。我个人也写过《MySQL探秘》和《MySQL死锁》系列文章,详细介绍了诸如 MySQL 内存结构、持久化机制、锁和事务等多方面的知识。不过上述知识大多数都来自《高性能MysQL》、《MySQL技术内幕:InnoDB存储引擎》等书籍以及网上一些优秀博主的文章。
| 作者 梁东阳,数据库研发中心数据库内核工程师,负责腾讯云MySQL的内核开发。 ---- 在日常运维中,相信不少人都收藏了很多关于查询优化的方法论和小技巧,但是仔细想想,你真的了解这些优化背后的原理吗? 查询优化器是专门负责优化查询语句的优化器模块,通过计算分析收集的各种系统统计信息,为查询给出最优的执行计划——最优的数据检索方式。 MySQL的优化器主要是将SQL经过语法解析/词法解析后得到的语法树,通过MySQL的数据字典和统计信息的内容,经过一系列运算,从而得出一个执行计划树的构成。之后MySQ
☆ 点击▲关注 腾讯云数据库 ☆ ---- 2019年9月,腾讯云数据库正式按地域发布TXSQL 5.7-201908版本,该版本主要实现写性能提升,新增功能特性和内核参数,为MySQL提供更稳定、高效的性能和服务能力。其中,新增特性包括DROP大表操作异步化、GTID复制功能扩展、隐藏主键功能、非 Super 权限用户 Kill 链接的功能等。另外,在最新的TXSQL内核版本中,可以通过内核参数来指定事务调度算法。下面将为大家详细解读。 TXSQL的演进之路 相信大家对腾讯云数据库Tence
数据库最早可以追溯到上世纪 60 年代,和当代电子计算机属于同一时代的产物。从问世那一天起,数据库就承担着向上支撑应用软件,向下调动系统资源的功能,在 IT 架构中处于核心位置,被誉为“软件行业皇冠上的明珠”。但国内数据库领域研发人才紧缺,严重影响着数据库产业发展。
CynosDB for PostgreSQL是腾讯云自研的一款云原生数据库,其主要核心思想来自于亚马逊的云数据库服务Aurora。这种核心思想就是“基于日志的存储”和“存储计算分离”。同时,CynosDB在架构和工程实现上确实有很多和Aurora不一样的地方。
本篇文章概述了 BPF 的主要应用,重点描述了 libbpf-tools 解决了哪些 BCC 痛点以及在 PingCAP 内部的相关实践。
TDSQL-C采用计算和存储分离的架构,所有计算节点共享一份数据,存储容量高达128TB,单库最高可扩展至16节点,提供秒级的配置升降级、秒级的故障恢复和数据备份容灾服务。TDSQL-C既融合了商业数据库稳定可靠、高性能、可扩展的特征,又具有开源云数据库简单开放、自我迭代的优势。《TDSQL-C PostgreSQL(CynosDB) 内核解密》文章已总体介绍了TDSQL-C核心架构与关键技术,本文下面将介绍TDSQL-C 存储层内核实现细节。
保障生产MySQL、Redis、MongoDB等集群稳定高效运营,及数据库自动化运维平台建设
数据库与操作系统、中间件组成了基础软件的三驾马车,也是企业 IT 系统必不可少的核心技术。从上世纪 60 年代诞生至今,不论是互联网行业还是银行、电信、制造等传统行业,都依赖着数据库技术的演进。 在步入云原生时代以后,传统数据库在服务可用性、数据可靠性、系统安全性、数据库备份、软硬件投入、系统托管、维护成本、部署扩容、资源利用率等关键方面都有所欠缺。在此背景下,分布式数据库系统获得了令人振奋的发展,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便
2023年3月25日,首届OceanBase开发者大会在北京举行。NineData 的首席架构师谭宇(茂七)受邀参加 OceanBase 数据管理与服务技术专场,发表了《NineData 多云数据管理》主题演讲。
每当有节点新加入或重新加入MGR集群时,该节点必须要先追平落后(有差异)的事务,这个追平最新数据的过程称为分布式恢复。先进行 本地恢复,然后再进行 全局恢复。
在我们日常生活中,使用微信6.5.3版本,QQ7.4版本,Chrome 43.0.2357.65 版本,表示的都是某些软件使用的版本号。 这些软件在开发过程中,版本都是由1不断的变化而来。对于软件公司来说,软件的开发过程中的变化,都需要记录下来,从而方便软件开发的管理,这个过程就是版本控制。 也就是,记录若干文件内容变化,以便将来查阅特定版本修订情况的系统(软件)。
CynosDB 是腾讯数据库研发团队推出的自研数据库,有PostgreSQL和MySQL两个版本。本文以兼容PostgreSQL版CynosDB为例,介绍我们的架构设计和优化思路。
随着互联网的发展,“程序员”这个名字逐渐为人们所关注到,其所代表的标签印象也变得更加多样 —— 改变世界?Debug专业户?格子衫代言人?……事实上,有那么一群人,比如腾讯数据库工程师,他们将自己定义为“数字的工匠”,初心如一地用代码创造产品、解决问题,为国产数据库发展助力。而对于我们来说,有他们的努力,数字世界也不再是虚无缥缈的数据,而像冰山盘亘在海面一样,深邃而沉稳。 在“1024”程序员节到来之际,我们推出本期特别分享,邀请腾讯6位数据库技术工程师,讲述了他们对代码技术的理解。 “我是腾讯云
提醒:本文已有自动构建的项目支持,请移步到:再续【从零使用qemu模拟器搭建arm运行环境】
在MGR中,各个节点的事务处理能力不尽相同,这就可能会造成个别节点上存在事务复制延迟,在这些节点上就有可能读取到旧事务数据。复制延迟的另一个风险时,当有新节点加入时,需要选择一个节点作为donor节点,若该节点存在延迟,则可能最后会选中Primary节点,影响事务写入性能。还有,当某节点中堆积大量延迟事务队列时,也很容易造成该节点发生OOM风险。
这是之前的一次调研,原来的萌新都成了熟手,而年轻的毕业生也走入工作岗位,我们来看看各家之言。
在全球顶级开源会议KubeCon +CloudNativeCon + Open Source Summit ,经陈莉君老师的引荐,我们有幸认识了这位长期活跃在一线的全球顶级内核开发工程师李勇老师,李勇老师本人风趣幽默,面对这位内核大牛就像面对一位亲切的学长,他为我们讲述了他从一位主修经济学的大学生由于在图书馆翻开一本薄书后一发不可收拾的爱上内核,一路走来崎岖而有趣的故事,李勇老师一直在把他目前的成果归结于幸运,而在这其中我们深深的意识到,越努力越幸运。毫无疑问,李勇老师是一位努力的天才。
今年 5 月,经过 Linux Kernel 社区成员的共同努力,Linux Kernel 5.10 维护周期最终确定从 2 年延长至 6 年。作为 Linux 社区的主要贡献者之一,华为公开承诺投入资源,协助进行 Linux Kernel 测试和补丁回合。基于 Linux 内核的 openEuler 操作系统于 2019 年正式开源,至今已经发布三个版本,按照版本计划,openEuler 22.03 将于明年发布,并将基于 Linux Kernel 5.10 构建。openEuler 的快速发展离不开 L
29日,在北美开源峰会上,世界著名Linux内核开发者Greg Kroah-Hartman对英特尔最初披露的Meltdown和Spectre CPU漏洞提出了质疑。
很多人应该都知道git的开发,最早是用来管理linux的内核源码的。在git之前,linux用的是一个叫做BitKeeper的商业软件进行源码管理和patch merge。
导语 | 数据库正处在变革期,变革的动力同时来自于外因和内因,外因是用户需求的变化,内因是新技术的爆发。用户需求从强调物理上拥有数据到逻辑上拥有数据,因此云服务的形式被越来越广泛地接受;新技术的爆发体现在新的存储介质的产品化。腾讯云原生数据库就是这种变革的产物,腾讯云原生数据库以云服务的方式提供更好的数据库性能,可用性和可靠性。本文由腾讯云数据库技术总监 张青林在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《腾讯云TDSQL-C架构探索和实践》演讲分享
领取专属 10元无门槛券
手把手带您无忧上云