3306π武汉站嘉宾专访-斗鱼网络资深DBA赵飞祥

赵飞祥

斗鱼网络资深DBA

网名 yumushui ，拥有多年一线传统行业和互联网数据库架构设计与运维经验。Oracle 11g OCM，对MySQL、Oracle、PostgreSQL、Greenplum、MongoDB等多种数据库有丰富的架构、维护实践与分享。

分享时间：14:50-15:40

分享议题：《greenplum与postgresql在互联网公司的应用与实践》

1、3306π社区：飞祥，我看你的个人经历，很多的Oracle相关的证书，曾取得过获取过Oracle年轻专家称号，感觉非常棒。趁这个机会给我们在详细的介绍一下你自已吧

赵飞祥：大家好，我在2010年大学毕业后，就直接去北京工作了，主要从事的工作方向就是与数据库相关的工作。一开始是在太极计算机股份有限公司工作，公司行业是传统集成行业，当时面对数据库是以Oracle数据库为主，涉及一些DB2，SQL Server数据库，这段时间的工作经历，主要作为乙方负责各地的甲方数据库维护和项目实施，包括国家天文台嫦娥三号、北京市铁路局Oracle运维等项目的技术和项目管理，对数据库、中间件、操作系统等多种技术都需要接触和掌握，也不断思考这些技术，尤其是不同数据库产品的异同点，并把自己的一些思考和技术总结，以博客文章的形式分享出来，与大家交流。

这段时间是以Oracle数据库作为主要的技术，除了技术上的实践和总结，以Oracle认证作为技术梳理和思考方式，学习和考取了Oracle 10g/11g OCP,Oracle 11g OCM认证，以及DB2，AIX，weblogic的认证，也通过Oracle官方审核，获得了“Oracle YEP年轻专家”称号。

从2014年初，我从集成行业，进入到互联网行业工作。在火币和竞技世界的工作经历中，感受到互联网公司的技术和业务场景，都与传统行业，有很大的不同。数据库的类型，与场景应用，配合的更加密切，更多的是用开源产品，用最合适的产品，解决最合适的问题。涉及到的数据，除商业数据库产品，MySQL、postgresql、redis、mongodb、greenplum等数据库，在一些特定的适应场景中，都会有各自的应用。虽然面对和掌握的数据库种类很多，但通过对数据框架和体系的理解，在使用数据库时，除了特殊的地方，更能体会各种数据库相同和相通的地方，通过提纲携领地把握和使用数据库，就不再限定某一种数据库，而回归到业务场景和问题，选择合适的数据库。

2018年初，我从北京回到武汉工作，现在在斗鱼网络，从事数据库方面的工作。现在虽然仍然以数据库为主，但思考和使用的技术，不仅是数据库了，程序编写，devops的落地，aiops的发展，也在不断实践中。

概括一下，我先是在集成行业对Oracle和技术广度横向积累，然后在互联网公司对多种数据库技术纵向对比，现在除了数据库运维，在程序开发上进行实践。

2、3306π社区：看嘉宾经历以前在JJ竞技做过数仓这块的工作。这块感觉知识点也比较多， 本着技术人员学习的态度咨询一下， 数仓这块建设上有什么注意事项吗？

赵飞祥：对于OLAP这块，我觉得一些比较重要的注意事项有：

从认识上讲，OLTP与OLAP是相互结合的，但两者是有很大区别的，要对OLAP本身的特点、场景、使用方式等有相应的理解，如果直接按照OLTP的思路建设，后续会有很多问题；

从架构上讲，OLAP需要有分布式、集群化的架构，在一开始就应该设计用多台服务器，相对充分的资源进行OLAP建设，保证足够的容量和性能是建设OLAP的基本条件；

从技术上讲，OLAP需要通过数据治理保证数据一致性，需要有完善的数据流转机制，保证各种数据在架构间相互流转，在计算过程中需要有充分的逻辑保证计算功能与性能。

3、3306π社区：在嘉宾本次分享《greenplum与postgresql在互联网公司的应用与实践》感觉也是一个偏重于数据分析的环境，嘉宾能否给我们介绍一下原来你的经过往经历数仓使用的什么架构，大概有多少个节点，存储量是什么样子？

赵飞祥：我之前在生产环境中，OLAP架构，采用的是基于postgresql数据库的MPP架构的greenplum集群。

整个集群，主要分为master管理节点和segment数据节点两大类。

集群的节点有几种类型：

集群一： 2虚拟机+4物理机，虚拟机为master管理节点，每个服务器上一个pg实例，物理机为segment数据节点，每个服务器上8个pg实例，一共有34个节点实例，存储量有90 TB左右；

集群二：2 物理机+6物理机，2个master物理机各有一个mater管理pg实例，每个segment物理机有20个segment实例（10个primary实例和10个mirror实例），共有122个节点实例，存储容量有300TB左右；

集群三：2 物理机+10物理机，2个master物理机各有一个master管理pg实例，每个segment物理机有20个segmnet实例，共有202个节点实例，存储容量有1PB左右；

不同的生产集群，应对不同的业务场景类型，中间也有数据流转机制，进行数据相互流转。

4、3306π社区：嘉宾这么多年搞的数据库版本也比较多，从最初的Oracle，然后到Pg，Greeplum, 最后到现在的MySQL， 是否可以给我们介绍一下，怎么快速转型？或是有没有推荐的转型的快的捷径？

赵飞祥：这个问题，在刚开始自我介绍中，已经进行了一些说明，现在再稍微展开一下吧。

在我的实际工作经历中，面对的数据技术，就是多种类型的，每种类型的数据库也不断会有新版本，所以需要不断的思考和掌握多种数据库。在不断的思考和实践当中，逐步感受到不同的数据库是有一些固定框架和体系，是比较稳定的，不太容易变化的。寻找、理解、应用这个体系框架，来看待和掌握不同的数据库，就可以看到某一种数据库为什么会出现？是用来解决什么问题的？与已经熟悉的数据库有什么相同点和不同点？

具体来说，不同数据库之间的体系结构、应用体系、适用场景是可以进行重点对比和参照的。

不同数据的体系结构会有相通之处，这个掌握和思考几种数据库后，自然会有感觉；

应用体系中，大的层面都相同，每种数据库都涉及部署、监控、操作、备份、性能优化、业务访问这些内容，不同的是每种数据库在具体命令和操作形式上会有差别；

不同的适用场景，是不同的数据库出现和存在的根本原因，哪一种数据库更适合解决这个问题？为什么适合解决这个问题？这些思考清楚了，就很容易接受新的数据库了。

上面是从理论框架比较异同，掌握数据库；当然要想快速掌握新的数据库，除了理论和框架体系的对比，还需要自己大量实践，或者根据工作内容，多进行实际操作练习，把理论转化成技能。

概括一下，想要快速应对和掌握多种数据库，就需要对新的数据不是从0开始，在理论上，可以根据已经掌握的数据的体系结构，应用体系进行类比，把握新数据库的适用场景，在理论上贯通；然后通过大量实践操作，转化为操作技能。

5、3306π社区：嘉宾本次的演讲主题，主要与postgresql数据库有关，平时工作中对MySQL数据库使用的比较多，你对这两种数据库有什么看法呢？

赵飞祥：MySQL数据库毫无疑问是目前互联网公司使用最多、最广泛的数据库，其简单，开源，适合互联网业务特性的特点，以及一些大的互联网公司的推动和宣传，让MySQL数据库的知名度和活跃度一直居高不下。

从技术角度看，从MySQL 5.6到最新的MySQL 8.0，新版本的一些功能和特性，让MySQL数据库在功能和性能上，有了更多的发展和完善。在很多互联网公司，讲MySQL数据库作为其首选，确实有其道理。

Postgresql数据库，号称是最先进的开源数据库。从实际使用情况看，postgresql数据库确实在功能方面有一些独到之处，可以很好地解决一些MySQL数据库中不太好解决的问题。另外，postgresql数据库在一些特定场景，如pg+postgis空间数据库，timescaleDB时序数据库，pipelineDB流式数据库，都可以在关系型数据库的范畴下，比较好的解决空间、时间、流数据等问题，有自己的应用场景和空间。

所以在生产环境中，我还是以技术特点和场景适合度进行选型，合适的技术才是最好的技术。并不先给某种数据库下定论，决定是否使用。

6、3306π社区：嘉宾原来是北京工作，今年回到武汉工作，让我们也比较羡慕，嘉宾，对于想从一线城市回家家乡或是其它城市工作的朋友有什么建议吗？

赵飞祥：在那个地方工作，其实是一个自我追求和权衡的问题。

从目前的实际情况看，北上广深等一线城市，在工作方面确实有很大优势：工作机会多，薪资待遇高，社区发展成熟。同时，一线城市也会有一些问题，比较主要的问题就是工作方面的精力时间投入过大，在生活、家人方面顾及较少。

回到家乡，或者回离家比较近的城市工作，生活、家人这些可以兼顾一些，但工作机会、薪资待遇等确实会比一线城市少。不过现在也有不少二线城市，目前也是在飞速发展中，与一线城市的差距也在缩小，也会有一些可以回家条件和机遇。

就我身边看到的情况，有很多从一线城市回到武汉的人，同时也有一些从武汉又去一线城市打拼的人。这些和数据库选型一些，无所谓对错，或者更好，只是那种方式更加适合。

所以我的建议是：

考虑好自己目前的阶段，工作、生活那个方面更偏重一些，追求的更多一些，或者说自己更想要什么，有一个相对清晰的目标和想法；

多关注和考虑不同地方的情况，提前做些准备，等待机遇；如果考虑回到家乡，就要对一些变化和落差有一定的考虑和准备；

不论在那里，都要继续保持学习，保持进步，保持努力；只要付出，总会有回报。

当然，就社区活跃度而言，武汉目前的社区氛围还不太成熟。所以这次3306π社区准备举办武汉站的活动，对于武汉社区的推动，是很有意义，非常好的。我也非常乐于参与这样的活动。

「3306π」技术Meetup-武汉站

主办：「3306π」社区主办

协办：腾讯众创空间（武汉光谷)

赞助：爱可生、WHITer社区、知数堂

时间：2018年10月27日 13:30-17:20

地点：湖北武汉市洪山区光谷大道现代光谷世贸中心B栋19楼腾讯众创空间

活动报名

报名链接：

https://www.bagevent.com/event/1878970

▼