现代化企业架构转型案例- 微信企业级云原生大数据平台构建及落地实践-(重塑世界观-XX第83期)

一、前言

今天找的案例是微信在企业级云原生大数据平台构建落地的实践。

二、大数据上云

2.1、上云的原因

2.1.1、基础设施的技术演进

2.1.2、业务对平台化个性需求

2.1.3、业界对大数据资源平台的发展演进

从IDC时代转变为云时代，容器编排、插件扩展、计算存储分离、按需计费、云原生支持、改造运维成本低，侵入低。

2.2、微信大数据平台演进

从早期没有K8s时候，通过自研进行调度和存储，保证了资源的利用率，然后各个模块的高度耦合以及运维成本留下了后遗症。目前开始进行整个云原生的大数据平台架构转型。

三、大数据上云基础设施建设

3.1、统一编排

采用原生还是自定义声明式接口，综合评估来看，声明式API接入，可以简化接入提交端逻辑。所有框架的应用都采用声明式API接入方式。

通过统一接入方式，旨在屏蔽不同框架的差异，让任务提交端无感知，其实核心在于防腐层设计，对于每个框架进行适配，简化外部使用者的学习成本。

3.2、POD设计及大数据配套能力

3.3、计算组件云环境适配

3.3.1、Spark外置Shuffle服务云原生适配

3.3.2、Spark外置Shuffle服务云原生适配

3.3.3、Flink流计算弹性伸缩

3.3.2、Spark外置Shuf3333333fle服

四、稳定性及效率提升效果

4.1、K8S集群稳定性与弹性配合

4.2、可观测性与智能运维

五、参考资料

- 企业架构专题-《微信云原生大数据平台构建及落地实践》-作者涂小刚