Apache ServiceComb架构演进:支持多数据中心微服务发现

什么是Apache ServiceComb

ServiceComb提供了一套包含代码框架生成,服务注册发现,负载均衡,服务可靠性(容错熔断,限流降级,调用链追踪)等功能的微服务框架。

他包含以下三个组件

注册中心ServiceCenter: 负责服务注册发现

https://github.com/apache/incubator-servicecomb-service-center

java chassis:java语言编程框架

https://github.com/apache/incubator-servicecomb-java-chassis

saga:分布式事务

https://github.com/apache/servicecomb-saga

为何要演进架构

Service Center使用ETCD作为存储,上层封装以微服务管理为核心的API。

但是随着容器、容器平台等技术的兴起,ServiceCenter需要进行架构演进以支持更加复杂的场景,让我们来看看以下场景

假设你开发了一套SaaS系统,你有些机器是裸金属跑在自己的机房,有些机器跑在云上的kubernetes容器平台。

ConsumerB 由go chassis开发,他们会拥有元数据,比如infra、size等。有些微服务跑在容器里,有些跑在裸金属中。

请求通过API gateway(如果由go chassis开发gw,则ConsumerB可以省略) 进入到唯一的入口ConsumerB,ConsumerB根据请求的特征,也就是header来决定路由到哪个微服务中。

对于付费用户的请求,可以转给性能较高的裸金属中运行的微服务。而对于一些试用用户,则转向k8s环境中,只消耗1核的容器里。

以上场景Service Center是无法支持的,因为微服务数据都在kubernetes etcd当中,Service Center只能收到裸金属中运行的微服务注册信息。

为了能够支持异构的基础设施,并且使开发者更容易开发出异地多活的分布式系统,服务中心进行了一次技术演进。

多注册中心Adaptor架构

现在使用ServiceComb开发的微服务已经支持多数据中心服务发现,这个特性主要是依赖于服务管理中心ServiceCenter的多注册中心Adaptor架构设计。

从上图中可以知道,ServiceCenter实现了多种注册中心的Adaptor,如基于客户端注册的etcd和基于平台注册的kubernetes;其中也包括ServiceCenter自身。ServiceCenter会解析配置中声明的Adaptor类型(声明方式下面会详述),找到对应的实现类,并注册到Aggregator中,Aggregator定期(默认30秒)通过这些类的实例的discovery接口拉取已注册的微服务实例信息。这样设计的好处是方便扩展各类注册中心的Adaptor,方式就是实现discovery接口即可。另一个好处就是Adaptor可以根据配置多次被实例化,也就是支持同时接入不同的注册中心,ServiceCenter支持多数据中心服务发现的特性也正是依赖这一点实现的。

多数据中心服务发现

每个数据中心会部署一套ServiceCenter集群,且集群的每个实例配置中会声明该集群的别名和各个数据中心ServiceCenter集群完整的地址列表,下面是一个例子:

Cluster

Datacenter

Address

sc-1-1

dc-1

10.12.0.1

sc-1-2

dc-1

10.12.0.2

sc-3-1

dc-2

10.12.1.1

sc-1-2

dc-2

10.12.1.2

sc-3-1

dc-3

10.12.1.1

sc-1-2

dc-3

10.12.1.2

我们假设在三个数据中心dc-1/2/3中分别部署一套ServiceCenter集群(高可靠)sc-1/2/3,并使得注册到本数据中心的ServiceCenter的微服务可以发现并调用其它数据中心的微服务,当然,前提是数据中心之间的网络是互通的。

以配置一个数据中心的ServiceCenter为例,打开编辑ServiceCenter程序目录下conf/app.conf

# 服务监听地址

httpaddr = 10.12.0.1

# 配置服务发现的插件类型

discovery_plugin = aggregate

# 注册etcd和ServiceCenter两种服务发现机制

aggregate_mode = "etcd,servicecenter"

# 配置服务注册的插件类型

registry_plugin = etcd

# 当前集群名称后端注册中心的访问地址

manager_name = "sc-1"

manager_addr = "$"

manager_cluster = "sc-1=http://10.12.0.1:30100,http://10.12.0.1:30100,sc-2=http://10.12.1.1:30100,http://10.12.1.1:30100,sc-3=http://10.12.2.1:30100,http://10.12.2.1:30100"

# 自动拉取实例周期

auto_sync_interval = 30s

这里解释一下上述配置,aggregate_mode会让Aggregator创建etcd adaptor和servicecenter adaptor实例,etcd adaptor主要是让ServiceCenter支持本数据中心的微服务使用客户端注册方式接入,而servicecenter adaptor主要是拉取其它数据中心的ServiceCenter集群的微服务实例信息;manager_addr指明etcd的访问地址;manager_cluster指明各个数据中心ServiceCenter集群的完整地址列表。

注:其它数据中心部署时,只需要对应更新httpaddr,manager_name,manager_addr配置即可。

确认部署成功

这里官网推荐使用命令行工具scctl的

cluster指令,这样就可以很方便的看到当前接入了哪些数据中心的ServiceCenter集群。

scctl --addr http://10.12.0.1:30100 get cluster

# CLUSTER | ENDPOINTS

# +---------+-------------------------+

# sc-1 | http://10.12.0.1:30100

# | http://10.12.0.2:30100

# sc-2 | http://10.12.1.1:30100

# ...

Example

这里演示了一个很简单的例子,例子引用的微服务均为微服务开发框架go-chassis中的example。

Microservice

Datacenter

Address

Client

dc-1

10.12.0.3

Server

dc-2

10.12.0.3

我们假设微服务Client部署到数据中心dc-1,Server部署到数据中心dc-2中。

01

启动微服务Server

打开编辑配置文件

vi examples/discovery/server/conf/chassis.yaml

修改如下

cse:

service:

registry:

type: servicecenter

address: http://10.12.1.1:30100 # the address of SC in dc-2

运行

go run examples/discovery/server/main.go

02

启动微服务Client

打开编辑配置文件

vi examples/discovery/client/conf/chassis.yaml

修改如下

cse:

service:

registry:

type: servicecenter

address: http://10.12.0.1:30100 # the address of SC in dc-1

运行

go run examples/discovery/client/main.go

03

确认调用成功

由于Client微服务没有暴露外部访问接口,所以这里我们只需要检查它的调用日志即可。

2018-09-29 10:30:25.556 +08:00 INFO registry/bootstrap.go:69 Register [Client] success

...

2018-09-29 10:30:25.566 +08:00 WARN servicecenter/servicecenter.go:324 55c783c5c38e11e8951f0a58ac00011d Get instances from remote, key: default Server

2018-09-29 10:30:25.566 +08:00 INFO client/client_manager.go:86 Create client for highway:Server:127.0.0.1:8082

...

2018/09/29 10:30:25 AddEmploy ------------------------------ employList:

观察日志我们可以知道,部署在不同的数据中心的微服务相互发现和相互调用。

更多高级特性,可参考文档

https://github.com/apache/servicecomb-service-center/blob/master/docs/README.md

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181112G1H3UB00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券