3306π武汉站嘉宾专访-斗鱼网络资深DBA赵飞祥

赵飞祥

斗鱼网络资深DBA

网名 yumushui ,拥有多年一线传统行业和互联网数据库架构设计与运维经验。Oracle 11g OCM,对MySQL、Oracle、PostgreSQL、Greenplum、MongoDB等多种数据库有丰富的架构、维护实践与分享。

分享时间:14:50-15:40

分享议题:《greenplum与postgresql在互联网公司的应用与实践》

1、3306π社区:飞祥,我看你的个人经历,很多的Oracle相关的证书,曾取得过获取过Oracle年轻专家称号,感觉非常棒。趁这个机会给我们在详细的介绍一下你自已吧

赵飞祥:大家好,我在2010年大学毕业后,就直接去北京工作了,主要从事的工作方向就是与数据库相关的工作。一开始是在太极计算机股份有限公司工作,公司行业是传统集成行业,当时面对数据库是以Oracle数据库为主,涉及一些DB2SQL Server数据库,这段时间的工作经历,主要作为乙方负责各地的甲方数据库维护和项目实施,包括国家天文台嫦娥三号、北京市铁路局Oracle运维等项目的技术和项目管理,对数据库、中间件、操作系统等多种技术都需要接触和掌握,也不断思考这些技术,尤其是不同数据库产品的异同点,并把自己的一些思考和技术总结,以博客文章的形式分享出来,与大家交流。

这段时间是以Oracle数据库作为主要的技术,除了技术上的实践和总结,以Oracle认证作为技术梳理和思考方式,学习和考取了Oracle 10g/11g OCP ,Oracle 11g OCM认证,以及DB2AIXweblogic的认证,也通过Oracle官方审核,获得了“Oracle YEP年轻专家”称号。

从2014年初,我从集成行业,进入到互联网行业工作。在火币和竞技世界的工作经历中,感受到互联网公司的技术和业务场景,都与传统行业,有很大的不同。数据库的类型,与场景应用,配合的更加密切,更多的是用开源产品,用最合适的产品,解决最合适的问题。涉及到的数据,除商业数据库产品,MySQLpostgresqlredismongodbgreenplum等数据库,在一些特定的适应场景中,都会有各自的应用。虽然面对和掌握的数据库种类很多,但通过对数据框架和体系的理解,在使用数据库时,除了特殊的地方,更能体会各种数据库相同和相通的地方,通过提纲携领地把握和使用数据库,就不再限定某一种数据库,而回归到业务场景和问题,选择合适的数据库。

2018年初,我从北京回到武汉工作,现在在斗鱼网络,从事数据库方面的工作。现在虽然仍然以数据库为主,但思考和使用的技术,不仅是数据库了,程序编写,devops的落地,aiops的发展,也在不断实践中。

概括一下,我先是在集成行业对Oracle和技术广度横向积累,然后在互联网公司对多种数据库技术纵向对比,现在除了数据库运维,在程序开发上进行实践。

2、3306π社区:看嘉宾经历以前在JJ竞技做过数仓这块的工作。这块感觉知识点也比较多, 本着技术人员学习的态度咨询一下, 数仓这块建设上有什么注意事项吗?

赵飞祥:对于OLAP这块,我觉得一些比较重要的注意事项有:

  1. 从认识上讲,OLTPOLAP是相互结合的,但两者是有很大区别的,要对OLAP本身的特点、场景、使用方式等有相应的理解,如果直接按照OLTP的思路建设,后续会有很多问题;
  2. 从架构上讲,OLAP需要有分布式、集群化的架构,在一开始就应该设计用多台服务器,相对充分的资源进行OLAP建设,保证足够的容量和性能是建设OLAP的基本条件;
  3. 从技术上讲,OLAP需要通过数据治理保证数据一致性,需要有完善的数据流转机制,保证各种数据在架构间相互流转,在计算过程中需要有充分的逻辑保证计算功能与性能。

3、3306π社区:在嘉宾本次分享《greenplum与postgresql在互联网公司的应用与实践》感觉也是一个偏重于数据分析的环境,嘉宾能否给我们介绍一下原来你的经过往经历数仓使用的什么架构,大概有多少个节点,存储量是什么样子?

赵飞祥:我之前在生产环境中,OLAP架构,采用的是基于postgresql数据库的MPP架构的greenplum集群。

整个集群,主要分为master管理节点和segment数据节点两大类。

集群的节点有几种类型:

集群一: 2虚拟机+4物理机,虚拟机为master管理节点,每个服务器上一个pg实例,物理机为segment数据节点,每个服务器上8个pg实例,一共有34个节点实例,存储量有90 TB左右;

集群二:2 物理机+6物理机,2个master物理机各有一个mater管理pg实例,每个segment物理机有20个segment实例(10个primary实例和10个mirror实例),共有122个节点实例,存储容量有300TB左右;

集群三:2 物理机+10物理机,2个master物理机各有一个master管理pg实例,每个segment物理机有20个segmnet实例,共有202个节点实例,存储容量有1PB左右;

不同的生产集群,应对不同的业务场景类型,中间也有数据流转机制,进行数据相互流转。

4、3306π社区:嘉宾这么多年搞的数据库版本也比较多,从最初的Oracle,然后到Pg,Greeplum, 最后到现在的MySQL, 是否可以给我们介绍一下,怎么快速转型?或是有没有推荐的转型的快的捷径?

赵飞祥:这个问题,在刚开始自我介绍中,已经进行了一些说明,现在再稍微展开一下吧。

在我的实际工作经历中,面对的数据技术,就是多种类型的,每种类型的数据库也不断会有新版本,所以需要不断的思考和掌握多种数据库。在不断的思考和实践当中,逐步感受到不同的数据库是有一些固定框架和体系,是比较稳定的,不太容易变化的。寻找、理解、应用这个体系框架,来看待和掌握不同的数据库,就可以看到某一种数据库为什么会出现?是用来解决什么问题的?与已经熟悉的数据库有什么相同点和不同点?

具体来说,不同数据库之间的体系结构、应用体系、适用场景是可以进行重点对比和参照的。

  1. 不同数据的体系结构会有相通之处,这个掌握和思考几种数据库后,自然会有感觉;
  2. 应用体系中,大的层面都相同,每种数据库都涉及部署、监控、操作、备份、性能优化、业务访问这些内容,不同的是每种数据库在具体命令和操作形式上会有差别;
  3. 不同的适用场景,是不同的数据库出现和存在的根本原因,哪一种数据库更适合解决这个问题?为什么适合解决这个问题?这些思考清楚了,就很容易接受新的数据库了。

上面是从理论框架比较异同,掌握数据库;当然要想快速掌握新的数据库,除了理论和框架体系的对比,还需要自己大量实践,或者根据工作内容,多进行实际操作练习,把理论转化成技能。

概括一下,想要快速应对和掌握多种数据库,就需要对新的数据不是从0开始,在理论上,可以根据已经掌握的数据的体系结构,应用体系进行类比,把握新数据库的适用场景,在理论上贯通;然后通过大量实践操作,转化为操作技能。

5、3306π社区:嘉宾本次的演讲主题,主要与postgresql数据库有关,平时工作中对MySQL数据库使用的比较多,你对这两种数据库有什么看法呢?

赵飞祥:MySQL数据库毫无疑问是目前互联网公司使用最多、最广泛的数据库,其简单,开源,适合互联网业务特性的特点,以及一些大的互联网公司的推动和宣传,让MySQL数据库的知名度和活跃度一直居高不下。

从技术角度看,从MySQL 5.6到最新的MySQL 8.0,新版本的一些功能和特性,让MySQL数据库在功能和性能上,有了更多的发展和完善。在很多互联网公司,讲MySQL数据库作为其首选,确实有其道理。

Postgresql数据库,号称是最先进的开源数据库。从实际使用情况看,postgresql数据库确实在功能方面有一些独到之处,可以很好地解决一些MySQL数据库中不太好解决的问题。另外,postgresql数据库在一些特定场景,如pg+postgis空间数据库,timescaleDB时序数据库,pipelineDB流式数据库,都可以在关系型数据库的范畴下,比较好的解决空间、时间、流数据等问题,有自己的应用场景和空间。

所以在生产环境中,我还是以技术特点和场景适合度进行选型,合适的技术才是最好的技术。并不先给某种数据库下定论,决定是否使用。

6、3306π社区:嘉宾原来是北京工作,今年回到武汉工作,让我们也比较羡慕,嘉宾,对于想从一线城市回家家乡或是其它城市工作的朋友有什么建议吗?

赵飞祥:在那个地方工作,其实是一个自我追求和权衡的问题。

从目前的实际情况看,北上广深等一线城市,在工作方面确实有很大优势:工作机会多,薪资待遇高,社区发展成熟。同时,一线城市也会有一些问题,比较主要的问题就是工作方面的精力时间投入过大,在生活、家人方面顾及较少。

回到家乡,或者回离家比较近的城市工作,生活、家人这些可以兼顾一些,但工作机会、薪资待遇等确实会比一线城市少。不过现在也有不少二线城市,目前也是在飞速发展中,与一线城市的差距也在缩小,也会有一些可以回家条件和机遇。

就我身边看到的情况,有很多从一线城市回到武汉的人,同时也有一些从武汉又去一线城市打拼的人。这些和数据库选型一些,无所谓对错,或者更好,只是那种方式更加适合。

所以我的建议是:

  1. 考虑好自己目前的阶段,工作、生活那个方面更偏重一些,追求的更多一些,或者说自己更想要什么,有一个相对清晰的目标和想法;
  2. 多关注和考虑不同地方的情况,提前做些准备,等待机遇;如果考虑回到家乡,就要对一些变化和落差有一定的考虑和准备;
  3. 不论在那里,都要继续保持学习,保持进步,保持努力;只要付出,总会有回报。

当然,就社区活跃度而言,武汉目前的社区氛围还不太成熟。所以这次3306π社区准备举办武汉站的活动,对于武汉社区的推动,是很有意义,非常好的。我也非常乐于参与这样的活动。

原文发布于微信公众号 - 3306pai(pai3306)

原文发表时间:2018-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

Apache CloudStack社区——分析

管理人注意:这篇文章由Sebastien Goasguen原创,原文发布在Build a Cloud

30380
来自专栏云计算D1net

研究表明:直接连接到云端至少降低50倍的延迟

对于将公共云作为其数据中心解决方案的一部分的企业来说,网络延迟是一个很大的问题。对于某些企业而言,还没有考虑到这种延迟,直到他们已经承诺使用公共云,并迅速成为一...

36670
来自专栏技术博文

Linux哲学思想--基本法则

1、一切皆文件; 2、单一目的的小程序; 3、组合小程序完成复杂任务; 4、文本文件保存配置信息; 5、尽量避免捕获用户接口; 6、提供机制,而非策略。 自从L...

35480
来自专栏数据猿

金融科技&大数据产品推荐:日志易—机器数据实时搜索分析引擎

日志易是强大、灵活的日志大数据分析工具,既提供云端的SaaS服务,也提供本地部署,企业可以利用它对日志进行集中管理和准实时搜索、分析、可视化和监控告警等 官网 ...

38540
来自专栏微信小开发

微信推出“微信使用小助手”,中老年人也能轻松玩转微信

微信推出“微信使用小助手”,中老年人也能轻松玩转微信 一直以来微信一直是年轻人的宠儿,但对一些上了年纪或者不怎么会玩手机的人一直是硬伤。有时候父母也想用微信和你...

226100
来自专栏腾讯开源的专栏

Github 开源项目贡献指南:开源的法律问题

向世界分享你们具有创造性的工作,这是一个多么令人激动和有价值的经历。这也意味着你们必须担心一堆你们不清楚的法律问题。幸运的是,你们不必从头开始。我们已经涵盖了你...

1.2K10
来自专栏云计算D1net

六大神器助力SaaS公司留住老用户

不管你信不信,平均每个SaaS公司每年都会失去5 - 7%的用户。这太让人惊讶了,因为相对了如何留住用户,大多数SaaS公司似乎更加专注于如何获取用户。 但是为...

25730
来自专栏CDA数据分析师

如何在数据农耕时代做个好“数农”?说说数据收集埋点这件事儿

本文由CDA作者库成员王安原创,并授权发布 原文来自公众号数据化决策(Data_Driven_Decision)。 CDA作者库凝聚原创力量,只做更有价值的分享...

235100
来自专栏沃趣科技

从运管到云管,从离散走向集约

刚刚过去的火热七夕节,也恰巧是云计算诞生十周年纪念日。十年前的今天,Google创始人埃里克·施密特在公司年度战略大会上首次公开提出“Cloud Computi...

42560
来自专栏Java架构

阿里离职后自我创业:从零到百亿互联网金融架构发展史总体介绍下面做详细介绍

31820

扫码关注云+社区

领取腾讯云代金券