浙江移动是如何利用“双平面”DCOS支撑全省IT系统稳定运行的？

从2G到4G，再到即将迎来的5G时代，传统的基础设施、单一的数据平台已无法应对电信行业快速转型带来的全新挑战。

为顺应并促进业务的持续高速发展，浙江移动公司与Mesosphere、天玑科技合作构建了具有业界先进水平的DCOS系统，可以实现资源全局调度、弹性伸缩及应用快速部署更加有效的保证浙江移动核心系统稳定、高效的持续运行。

浙江移动与Mesosphere

Mesosphere DC/OS（DataCenter Operating System，数据中心操作系统）是为整个数据中心提供分布式调度与协调功能，实现数据中心级弹性伸缩能力的软件堆栈（software stack），它将所有数据中心的资源当做一台大计算机来调度，可以视作这个大型主机的操作系统。

浙江移动构建的DCOS技术架构则是以容器为基础封装各类应用和运行环境，以Mesos+Marathon为核心实现容器资源的分布式调度与协调，用于手机营业厅、CRM应用等关键系统，为IT私有云、电信云发展奠定了坚实的基础。

浙江移动DCOS系统功能架构

浙江移动DCOS最新实践

目前浙江移动的DCOS平台上运行的应用系统已有200余套，包括手机营业厅、CRM应用等核心系统，因此保证平台的高可用至关重要。

原DCOS系统架构

原先浙江移动的DCOS平台采用单平面模式——单集群部署、节点跨机房，来实现集群的可用性：

控制节点(mesos-master、zookeeper)按2:2:1分别部署在三个机房（分布式集群三机房部署防止脑裂)；

计算节点(mesos-slave)按1:1分别部署在两个机房。

浙江移动DCOS原架构图

然而，这种单平面模式存在以下问题：

为避免这些问题，浙江移动将单平面架构优化为双平面集群架构。

DCOS系统双平面设计与实现

▶双平面集群架构

在不同机房新建集群，同一机房内部署独立的完整集群。

两个机房的完整集群构成一个双平面环境，由管理平台统一纳管。

当其中一个平面出现故障，可通过管理平台快速的切换到另一平面。

浙江移动DCOS双平面架构图

▶组件优化

升级操作系统和Docker版本,使用Overlay2作为Docker的存储驱动

升级mesos、marathon版本

升级服务发现、负载均衡镜像

▶管理平台能力扩展

管理平台支持租户指定集群部署、启停、环境变量修改、实例双平面分布权重配置等操作。对于一个应用可以同时显示两个平面上的运行实例数。

▶双平面模式下的发布流程

双平面部署后，租户可在管理平台上灵活配置应用实例分配权重，应用发布过程可在双平面上并行执行。

发布流程图

▶平面间应用迁移

双平面改造后，能支持应用在不同平面间的快速迁移。当一个平面出现故障时，可以进行批量迁移应用到另一平面，快速恢复。

▶后续应用部署改造

运行在DCOS上的部分应用有相互调用关系，原先单平面模式下，跨机房间调用受网络抖动影响大。平台双平面改造后，能支持应用的双平面运行。经过一定改造，应用系统可在单平面上独立部署，只在最前端将业务请求分发到两个机房，后端调用只在同一机房内发生。

通过应用双平面改造后能最大限度减少跨机房调用，降低应用调用延迟、网络抖动引发故障的风险。

改造效果

双平面改造后，两个平面有独立的、完整的运行和维护管理能力。当一个运行平面出现故障时，可以快速将应用迁移至另一个平面继续运行。

应用双平面改造后，可以减少网络抖动的影响，减少跨机房调用，降低延迟。

双平面模式下发布应用可根据亲和性策略拉取镜像等资源数据，使得应用发布时间有效缩短。

双平面改造可有效增强应用系统、DCOS版本滚动升级能力。

“浙江移动云计算中心通过自主研发以及与Mesosphere和天玑科技的联合创新构建了具有业界先进水平的DCOS系统，实现了真正意义上的大云（数据中心级的资源调度），并成功的通过中心化项目将核心的业务系统迁移上云，为公司创造了巨大的经济效益和社会效益。同时，浙江移动始终致力于对包括Mesos在内的生态系统的持续贡献，未来会进一步加大自主研发的投入，争取扩大在社区的贡献度与社区各技术精英共同打造美好的发展前景。”——摘自三墩IT人