用Mesos分布式架构进行工作

小编说：2010年，一个旨在解决扩容问题的项目诞生——Apache Mesos，它在某种程度上对CPU、内存、磁盘资源进行抽象，从而允许整个数据中心如同单台大服务器般运转。无需虚拟机和操作系统，Mesos创造了一个单独底层的集群为应用提供所需资源。本文将向您简单介绍Mesos分布式架构，详细讨论请见《Mesos 实战》一书。

Mesos通过引入一层抽象，提供了一种像管理单台大服务器般的方法来管理整个数据中心。你可以认为Mesos与当今虚拟化解决方案类似：像hypervisor一样抽象物理CPU、内存、磁盘资源，之后以虚拟机形式呈现。Mesos做相同的事情，但其将资源直接提供给应用。

除了提升整体资源的利用率外，Mesos还一开始就支持分布式、高可用及容错。通过使用容器技术，如Linux control groups (cgroups)和Docker，Mesos实现了进程间隔离，允许多个应用运行在同一机器上。你也许曾搭建过三个集群，分别运行着Memcached、Jenkins CI和Ruby on Rails应用，现在你只需部署一个Mesos集群就可以运行所有的应用了。

为了提供规模化服务，Mesos提供了一套分布式、容错性架构来完成资源的细粒度分配。这套架构包括三个组件：master、slave及运行在其上的应用本身（通常称为framework）。Mesos依赖于Apache ZooKeeper，一个分布式的数据存储系统，专用于集群内的协调同步leader投票选举，以及Mesos master、slave和framework间的leader发现。

在下图中，你能够看见这些架构组件如何在一起工作，从而提供一个稳定的平台来部署应用。

Mesos架构图，包括一个或多个master、slave和framework

• masters

Mesos master的职责是管理集群中在每台机器上运行的Mesos slave守护进程。通过ZooKeeper和master之间协调哪个节点是主master，哪些节点作为备用存在，它们将在主master离线时接管服务。

主master节点使用可插拔的分配模块或调度算法来分发资源供给至各种调度器，从而决定将什么资源提供给某一特定的framework。调度器依据其上是否有任务需要执行来决定接收或拒绝资源供给。

Mesos集群至少要求有一个master节点。在生产环境为了保证高可用性，推荐采用三个甚至更多的master节点。你可以将ZooKeeper在与master相同的机器上运行，或者使用独立ZooKeeper集群。

• slaves

在集群中负责执行framework任务的服务器被称为Mesos slave节点，它们访问ZooKeeper来确定主master节点，将CPU、内存、存储资源以资源供给的形式宣告给主master。当调度器从主master接收资源供给后，在slave节点上启动一个或多个执行器，执行器负责运行framework的任务。

Mesos slave也能够基于属性与资源进行配置，从而允许它们定制特定环境。属性配置是键值对形式，可以包含类似于节点所在机房位置信息。资源配置可以替代Mesos自动探测发现slave节点的有效资源，并由用户指定具体的CPU、内存、磁盘资源信息。属性配置与资源配置的示例信息如下：

--attributes='datacenter:pdx1;rack:1-1;os:rhel7'
--resources='cpu:24;mem:24576;disk:409600'

在属性配置中对Mesos节点的数据中心、节点位置、操作系统进行了说明，在资源配置中用户指定了该节点提供的CPU、内存和磁盘资源。在日常维护中，这些信息对保证应用在线运行不受影响特别有用。使用这些配置信息，数据中心的运维人员可以在整个机柜甚至整排机柜离线日常维护时不影响用户。

• frameworks

framework是表示Mesos应用的术语，它负责在集群上调度与执行任务。framework由两个组件组成：调度器与执行器。

1 . 调度器

调度器是典型的长运行态服务，负责与Mesos Master连接，接收或拒绝资源供给。Mesos将调度的职责委派给了framework，而不是试着由自己调度所有的任务执行。调度器基于当下是否有任务需要运行来决定是否接受或拒绝资源供给。调度器通过与ZooKeeper通信来探测主master的存在，之后将其自己注册到master中。

2 . 执行器

执行器是在Mesos slave上启动的一个进程，负责运行framework的任务。在本书写作之时，Mesos内建的执行器允许framework执行shell脚本、Docker容器等。Mesos支持多种编程语言执行器，新的执行器可以与framework绑定在一起，当任务需要它时由Mesos slave从framework获取。

如你所看到的，Mesos提供了一个分布式、高可用的架构，master负责整个集群的调度工作，slave将有效资源通知调度器，并在集群中执行任务。

本文选自《Mesos 实战》