前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >临时工访谈:庙小妖风大-PolarDB 组团镇妖 之 他们是第一

临时工访谈:庙小妖风大-PolarDB 组团镇妖 之 他们是第一

作者头像
AustinDatabases
发布2024-05-20 15:06:15
630
发布2024-05-20 15:06:15
举报
文章被收录于专栏:AustinDatabasesAustinDatabases

首先声明,庙小妖风大,说的是我自己,和PolarDB无关,不过DISS了POLARDB后,PolarDB的老师们估计看我不爽,特地劳动节后,组团来到我这镇妖。

本次我实在没有想到,把PolarDB的 Big Shot 给劳动大驾了,等到介绍的时候,才觉得两腿发软,遇上“老道长”了。废话不说,直接上家伙,咱这千年的大妖,到底要看看是道高一尺魔高一丈,还是魔高一尺道高一丈

这里我们有两位主要访谈对象

PolarDB 的内核执行器负责人 北侠 冯老师

PolarDB 大佬(不能提名字) 这里且称 POALRDB 老道长

访谈正式开始:

在上次OB来后,PolarDB的纪老师就联系我,说PolarDB的老师要来说说新的东西,节前比较忙,所以就约到了节后。

等我下楼迎接,阵仗不小,然后纪老师逐一介绍,有网上聊过天的北侠,还有一个这里不能提名字的大佬,因为我听闻介绍后,瞬间我就不大淡定了,之前刚发文 DISS 过人家,这么大领导来到小庙,分明就是上门灭妖的。

大战一触即发,老道长马上笑着发难。

PolarDB 老道长: 您的文章我们都看了,OB 来贵司访问的事情我们也看了,其实我们PolarDB 在开源方面也有很多的规划,接下来我们也会在开源方面有一些想法和动作。

临时大妖:您客气,嗯我有话直说了,OB 在开源的部分的确要做的比POLARDB 好,从宣传上,从人力资源的投入上,以及从重视程度上,我觉得都要比POLARDB 好。

我为什么这么说呢,PolarDB 本身的宣传的方式方法是有一些问题的,在去年的我个人也和 陈老师(暴跳),德哥 周老师的支持下,在胡老师的直播平台搞了两场关于POLARDB 的介绍和有问必答的活动。

实际上我们收到一些效果,在此之前我个人感觉大部分人对于POLARDB 是有认知的,但搞完活动后发现不少人对什么是POLARDB 基本是处于一个盲区,感觉很乱,有人说POLARDB 是 POLARDB-X ,有人说POLARDB 是 上面ORACLE 下面自己的研发的产品,还有人说,POLARDB 就是套壳 POSTGRESQL ,还有的说POLARDB 是MYSQL 的平替。

当时我个人认为,POALRDB 不是一个数据库,他是一个数据库解决方案,是一个体系,今年咱们得POLARDB 大会上,咱们提出了一个新的概念,积木数据库,插件化的产品。我觉得思路是对的,但在开源方面,我们POALRDB 是落后的,和OB 比,或者说没法比。

这点不知道您怎么看?

PolarDB 老道长:哈哈哈,我是这样看的,我们在POALRDB 开源方面还有很多工作可以做,我们今年要在POALRDB 的开源部分做一些事情了,之前我们经常开会做一些宣讲,可能还不够,但今年我们的确要做一些事情,好好的宣传POLARDB 开源的部分。

我们已经和 XXXX 合作,引入XXXX,同时我们还要和XXXX 合作大面积的对于我们的开源的POALRDB 的产品进行更强的输出。

临时大妖:是吗,这到是一个新的想法之前我没有听到过,不过之前咱们 开源宣传上好像是一个人在奋斗,至少给我的感觉是这样的,这和OB 的开源部分的非常不同,从资源的支持力度上,我个人觉得,是不是可以给更多的支持呢? 猛虎斗不过群狼 ,我这个比喻可能不是太恰当,不过您应该明白我的意思哈

PolarDB 老道长:其实我们对于开源部分,是有新的想法和后续的动作的,我们的产品好,我这里可以说说,我们和其他厂家在开源数据库部分的一些优势 XXXXXXXX合作XXXXXXXXX引入XXXXXXXXX他们XXXXX有问题XX (此处省略3000字)

(抱歉各位吃瓜群众,这段必须掐了,就是不能播,虽然老道长不怕,但大妖的庙小,扛不住其他数据库公司的天雷,播完就封号了),不过我稍微个人的感觉总结就是,POALRDB 是第二,就没有第一。

PolarDB 老道长: 另外您上次发文DISS我们的POLARDB 的磁盘的空间和容量不能互换的问题,这边已经修改了并上线了,您有时间可以试一试,我们对于客户的意见一直是看重的,只要意见真诚,我们可以随时开会讨论,并加入到我们的数据库系统完善的工作中,我们系统完善的速度,我可以保证绝无仅有。

PolarDB 搞那么多复杂磁盘计费的东西,抽筋了吗? (具体不知道我吐槽了什么的,可以参见这篇文章)

完了临时大妖是打不过这 PolarDB 老道长了,咱们这的转移对象,找着软柿子来。

临时大妖:那咱们今天是 郑老师(北侠)老师介绍 POLARDB开源部分哈,上次钉钉上已经深入介绍了,POLARDB FOR POSTGRESQL 的数据压缩的部分,的确是从成本上,让人比较感兴趣,但没有看到实际的数据,除了这部分,咱们还有其他的可以说的吗?

在此之前,冯老师,我有几个问题对于咱们POALRDB 开源的部分,咱们这POLARDB 开源的部分其实主要针对的是 POLARDB FOR POSTGRESQL,同时开源的产品本身是 shared nothing 的产品,我觉得没有什么新意,我说句不太好听的,比较俗套。

北侠:刘老师,我先介绍一下我们的产品,因为我听完您说的,您对我们的开源产品并不了解,或者说有严重的偏见。来我打开PPT给您介绍一下,首先我要纠正您的一个说法POALRDB FOR POSTGRESQL 是 SHARED NOTHING 的产品,实际上 PolarDB 开源的部分,是有两个产品,PolarDB shared nothing 和 PolarDB shared storage ,对的我们开源有两个部分,这里您对我们的开源的 shared storage 不了解,所以我介绍一下。

在云上的polardb for postgresql 这部分我们是开源的,并不是像用户想的,我们的开源的产品就是玩玩而已,我们的开源产品是基于客户的需求,线下可以,线上也可以的做法,也就是如果你认为阿里云不好,你完全可以在腾讯云上,或者华为云上,部署我们的 PolarDB for PostgreSQL shared storage 的产品,这就相当于把阿里云上的poalrdb for postgresql 直接搬到其他云上使用了。

临时大妖:我插一句,我想问一下,这有什么意义呢?PolarDB 本身最大的卖点不就是硬件吗,拿硬件是底座,没有硬件的支撑,你们到其他云上可以吗?这是不是一个所谓美丽的童话呀?

北侠刘老师,您这又是对我们产品的误解,我心很痛,您看我的白头发,我们的parallel raft 协议实际上是我开发参与的,我的白头发就是那几年开发这个协议弄得,因为我们都知道 raft 协议的问题,在高并发时可能会有性能的问题但打破他的一些定式,数据一致性有要产生问题,尤其在一些特殊的情况下,基于polardb是一款高性能并支持高并发的数据库产品,我们必然要修改这部分,里面我们修改了 (XXXXXXXXX,XXXXXX) 主要我们解决了高并发时,多信息处理的顺序性的问题。

(这段不是不能播,是他说的太快,我没记下来)

我们对于PolarDB 的开源部分从很早就开始了,2021年5月份我们就有了 PolarDB Paxos 三节点的数据库开源产品,这里我们修改了很多PG中原有的问题,比如前滚,我们是并行的,而PG他是单进程进行的。

同时我们在2021年10月份就已经完成了 shared storage 架构的 Polardb for PostgreSQL的开源版。或者您可以理解为,我们把完整的PolarDB for PostgreSQL 云原生的商业数据库,开源了。可能这块我们宣传不够,的确是应该多宣传。

临时大妖:关于将 PolarDB for PostgreSQL 的shared storage的部分进行了开源,我这点的确是不清楚,我清楚的是 shared nothing 基于paxos 三节点的开源产品,我还安装过。

北侠:是,这不咱们来这给您做做科普来了,我们除了对于原有的 PostgreSQL 的很多问题都做了修改,我们最大的修改的一个部分,我这可以展示给您看一下。我们把PG DirectIO 的部分做了变化,提高了整体数据库运行的效率。

临时大妖:这么看,PolarDB for PostgreSQL 完全和商业的数据库一样了,直接和文件系统进行了对接,不在和操作系统的page cache进行交互了,那么.... 这样的结果是...... shared buffer pools 不在和PG官方的给出的 25%的设置值一样了,而是直接可以设置成 60% 或更多的内存在shared buffer pools 中了?

北侠:是的我们修改了这部分,主要是为了提高我们的性能,在数据读取时,我们希望整体是在用户态的,CPU 是不进行上下文切换的,提高我们的硬件利用的效率,同时我们还将之前一些数据库里面的内存预读技术也用到了PG for PolarDB ,这样我们来解决我们将内存部分修改后引起的其他问题。并且我们还有独有的页面筛选技术,这样的情况下可以对于一些跳页的加载比较友好,对于连续的查询的页面加载更是不在话下。

同时我们还针对PG中的一些问题进行了改造

1 Persisitent bufferpool

通过这个功能,在系统crash 后,启动后我们可以立即复原当时的数据库系统的shared buffer pool 的状态,让系统启动的速度都比原生的PG 要快的很多。

2 LogIndex 的技术

通过此项技术,我们可以直接在数据复制的时候,不进行wal的复制,而是通过wal中的index 来进行关键信息的复制,通过内存的通道的复制速度更快,更小的数据量,更快的内存传递方式,让主从节点数据一致性速度得到提升。

3 内置连接池技术

4 性能优化csn技术

5 支持serverless 弹性

........

临时大妖: 冯老师,冯老师,那个您说的这些不少我觉得对我来说没有什么吸引力,您这要是和数据库开发人员去讲好他们可能更敢兴趣,我们这些 DBA 对于能摸得到的,能立即感受到的,更感兴趣,另外咱们这也不是什么 数据库大会,咱们别妖妖灵先,我对这些不感冒。(此时,临时大妖的脑袋开始疼了,太多的更新点,迎接不暇了,只能转移话题)

北侠:我们还有一个功能,这个功能就是针对你们这些DBA人员在工作中的最烦恼的问题,数据归档。PolarDB for PG 支持冷热分层处理,在POLARDB FOR PG中可以直接在数据库中使用 OSS 作为数据表空间,在对这个表使用了OSS 表空间后,数据会自动按照比例装在到OSS中,也就是相当于,PolarDB for PG 中的数据如果归档,可以将归档的数据直接通过一条命令,装在到OSS存储上,相关的数据存储费用会大大的降低,同时相当于,数据库和归档数据库 2合一。 你可以随时调用归档的数据,同时不必为归档数据存在PLS4 OR PLS5 上的存储空间的费用担心。

相当于简化了DBA 的工作,甚至您还可以将一些比如TOAST的数据直接不经常被调用的,放到OSS 磁盘系统上也可以,而这些都是在POLARDB FOR PG 中通过DBA 的命令来完成的,不需要其他人介入。

您看这个功能怎么样,有没有问题 ?

临时大妖:没有挺好的,还行吧 ! (此时大妖如面对如来神掌一样)

北侠:刘老师还有就是PolarDB for PostgreSQL 我们的压测结果,对比同等PostgreSQL 产品数据存储节省一半,压测的数据和对比图看一下。您觉得怎么样?

临时大妖:挺好的 (庙塌屋倒)

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-05-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AustinDatabases 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档