专栏首页泛互云原生如何将一个 Dubbo 项目改造成一个 Service Mesh 项目?
原创

如何将一个 Dubbo 项目改造成一个 Service Mesh 项目?

本篇介绍如何将一个 Dubbo 项目改造成一个 SpringBoot + K8S + Istio 项目的全过程,实现了在不改变 Dubbo 项目整体代码结构的基础上,向 Service Mesh 云原生项目的蜕变。

一. 痛点问题:

  • 服务名调用问题:Istio 通过对 K8S 服务名调用的拦截,实现了无侵入式的流量治理功能,因此 Isito 要求不同服务间的调用必须以服务名的方式进行。现有项目是否为服务名调用,成了不同类型的项目向 Istio 改造的最大障碍之一,例如 Dubbo 项目就不是服务名调用,而是 Interface 调用,这是第一个痛点问题。
  • 注册中心问题:由于 Istio 目前只支持 K8S etcd、Consul 两种服务注册中心,其他注册中心(例如:Zookeeper)的对接以及跟 Istio 配置文件的集成及 xDS 协议数据的下发,成为了第二个痛点问题。
  • 私有协议问题:由于 Istio 目前只支持 http、gRPC、tcp 三种协议,私有协议适配难度较高,即使在新版 Envoy 已经支持了 Dubbo 协议的情况下,还是需要通过 EnvoyFilter 下发专属 xDS 协议数据来支持 Dubbo 的服务调用及流量治理,这是第三个痛点问题。

二. 改造思路:

  • 由于改造 Dubbo SDK、Isito控制面、Envoy 数据面,让 Dubbo 去适配 Service Mesh 的技术难度较大,而且即使改造成功也需要通过 EnvoyFilter 下发专属 xDS 协议数据的形式来支持 Dubbo 服务间调用的流量治理,使得这种方式与原生 Istio 的使用方式差距较大。
  • 所以我们选择了一条将 Dubbo 项目改造成 SpringBoot + K8S + Istio 项目的更简单的路,充分利用现有 Dubbo 项目的代码结构,将代码修改量降到一个可控的范围内。
  • 由于 Dubbo 项目 facade 模块的作用与 Spring Cloud Feign 模块的作用十分相似(模块内都是一些 interface,需要服务端 xxxServiceImpl 去实现各个 interface,消费端通过 @Resource 注解的方式引入 interface 并直接调用),使得 Dubbo 最复杂的服务间调用方式有了解决的方案。
  • 此次改造只是利用了 Dubbo 项目的代码结构,Dubbo 原有的注册中心、Dubbo 协议等功能全部都会被去掉,也就是改造后的项目跟 Dubbo 已经没有任何关系了,所以注册中心、Dubbo私有协议这两个痛点问题也就不存在了。
  • K8S 会接管服务注册发现、服务编排等工作,Istio 会接管服务治理、调用链监控、服务安全等工作,改造后的项目是一个标准的 Service Mesh 项目。

三. Dubbo 项目结构:

现有 Dubbo 项目 xyz-dubbo,包括以下三个模块:

  • dubbo-facade: dubbo 接口定义
  • dubbo-provider: 服务提供方
  • dubbo-consumer: 服务调用方

四. 具体改造步骤:

4.1 Dubbo 项目根 POM 改造:

  • 根 pom.xml 引入 SpringBoot parent,增加 spring-cloud-dependencies import 引用。
  • 删除所有 dubbo 相关引用。
  • 虽然 pom 文件改动很大,但属于一次性改动,改造工作量较小。

改造前的 Dubbo 项目根 pom.xml:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>io.xyzdemo.dubbo</groupId>
    <artifactId>xyz-dubbo</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <name>xyz-dubbo</name>

    <modules>
        <module>dubbo-consumer</module>
        <module>dubbo-provider</module>
        <module>dubbo-facade</module>
    </modules>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>io.xyzdemo.dubbo</groupId>
                <artifactId>dubbo-facade</artifactId>
                <version>1.0-SNAPSHOT</version>
            </dependency>
            <dependency>
                <groupId>org.springframework</groupId>
                <artifactId>spring-web</artifactId>
                <version>4.2.5.RELEASE</version>
            </dependency>
            <dependency>
                <groupId>org.apache.dubbo</groupId>
                <artifactId>dubbo</artifactId>
                <version>2.7.6</version>
            </dependency>
            <dependency>
                <groupId>com.ecwid.consul</groupId>
                <artifactId>consul-api</artifactId>
                <version>1.4.5</version>
            </dependency>
            <dependency>
                <groupId>com.orbitz.consul</groupId>
                <artifactId>consul-client</artifactId>
                <version>1.4.2</version>
            </dependency>
        </dependencies>
    </dependencyManagement>
</project>

改造后的 SpringBoot 项目根 pom.xml:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.2.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <groupId>io.xyzdemo.dubbo</groupId>
    <artifactId>xyz-dubbo</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <name>xyz-dubbo</name>

    <modules>
        <module>dubbo-consumer</module>
        <module>dubbo-provider</module>
        <module>dubbo-facade</module>
    </modules>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>Hoxton.SR1</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
            <dependency>
                <groupId>io.xyzdemo.dubbo</groupId>
                <artifactId>dubbo-facade</artifactId>
                <version>1.0-SNAPSHOT</version>
            </dependency>
        </dependencies>
    </dependencyManagement>
</project>

4.2 dubbo-facade 项目改造:

  • pom.xml 增加 spring-cloud-starter-openfeign 引用。
  • 删除所有 Dubbo 相关引用、Dubbo 相关配置文件。
  • Dubbo 原有 facade 接口是标准的 JAVA 接口定义,与 Feign Restful 接口定义十分类似。这里可以在原有的 facade 接口基础上增加 @FeignClient、@RequestMapping 等注解,将一个普通的 facade 接口改造成一个 Feign Restful 接口,后续会使用 Feign 这个 Restful 框架来处理服务间调用等问题。
  • 由于 Feign 本身是自带了 Ribbon 负载均衡,服务访问者经过负载均衡后会找到服务提供者的一个 IP+Port 进行调用,这与 K8S Service 要求的服务名调用的方式相冲突,所以必须想办法去掉 Feign 自带的负载均衡。好在 @FeignClient 可以手工指定一个固定的调用地址,这里可以把这个地址设置成 K8S Service 的 name 名称,从而实现了通过 Feign 对 K8S Service 服务名调用的能力。此部分需要每个 facade 接口增加注解一次,改造工作量相对可控。
  • 由于 Feign 要求接口使用 Restful 格式,所以接口中的每个抽象方法都必须添加 @RequestMapping、@GetMapping、@PostMapping 等注解暴露成一个 Restful 资源地址。此部分改造涉及到每个 facade 接口的每个抽象方法,是整个方案里改动量最大的一部分。
  • 此部分整体改造工作量取决于原有的 Dubbo 项目包含多少个 facade 接口,以及每个 facade 包含多少个抽象方法。

改造前的 Dubbo facade 接口示例:

public interface HelloService {
	String sayHello(String name);
}

改造后的 Feign Restful 接口示例:

@FeignClient(name = "dubbo-provider", url = "http://dubbo-provider:8001")
public interface HelloService {
	@GetMapping(value = "/apis/hello/{name}")
	String sayHello(@PathVariable String name);
}

4.3 dubbo-provider 项目改造

  • pom.xml 增加 spring-boot-starter-web、spring-cloud-starter-openfeign 等引用,同时增加 SpringBoot mainClass 标准启动项配置。
  • 删除所有 Dubbo 相关引用、Dubbo 相关配置文件。
  • 增加 SpringBoot 启动类,增加 @SpringBootApplication、@EnableFeignClients 两个注解,配置 dubbo-provider 服务端口号。
  • xxxServiceImpl 服务实现类上增加 @RestController 注解,提供 consumer Restful 访问的能力。 这个需要每个服务实现类都加上 @RestController 注解,不要遗漏。
  • 此部分大都属于一次性改动,改造工作量相对可控。

改造前的 dubbo-provider 模块 pom.xml 配置:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <parent>
        <artifactId>xyz-dubbo</artifactId>
        <groupId>io.xyzdemo.dubbo</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>

    <artifactId>dubbo-provider</artifactId>
    <packaging>war</packaging>
    <name>dubbo-provider</name>

    <dependencies>
        <dependency>
            <groupId>io.xyzdemo.dubbo</groupId>
            <artifactId>dubbo-facade</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo</artifactId>
        </dependency>
        <dependency>
            <groupId>com.ecwid.consul</groupId>
            <artifactId>consul-api</artifactId>
        </dependency>
        <dependency>
            <groupId>com.orbitz.consul</groupId>
            <artifactId>consul-client</artifactId>
        </dependency>
    </dependencies>
</project>

改造后的 dubbo-provider 模块 pom.xml 配置:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <parent>
        <artifactId>xyz-dubbo</artifactId>
        <groupId>io.xyzdemo.dubbo</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>

    <artifactId>dubbo-provider</artifactId>
    <name>dubbo-provider</name>

    <dependencies>
        <dependency>
            <groupId>io.xyzdemo.dubbo</groupId>
            <artifactId>dubbo-facade</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-openfeign</artifactId>
        </dependency>
    </dependencies>

    <build>
        <finalName>${project.artifactId}</finalName>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <mainClass>io.xyzdemo.dubbo.provider.ProviderApplication</mainClass>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

改造后的 HelloServiceImpl.java 代码示例(改造前只是缺少 @RestController 注解,其他代码完全一致):

@RestController
public class HelloServiceImpl implements HelloService {
	public String sayHello(String name) {
		return String.format("hello %s! podIP is %s!", name, CommonUtils.getLocalIP());
	}
}

4.4 dubbo-consumer 项目改造

  • pom.xml 增加 spring-boot-starter-web、spring-cloud-starter-openfeign 等引用,同时增加 SpringBoot mainClass 标准启动项配置。
  • 删除所有 Dubbo 相关引用、Dubbo 相关配置文件。
  • 增加 SpringBoot 启动类,增加 @SpringBootApplication、@EnableFeignClients(需要配置 basePackages 扫描包路径) 两个注解,并配置 dubbo-consumer 服务端口号。
  • 此部分大都属于一次性改动,改造工作量相对可控。

由于dubbo-consumer 项目改造与dubbo-provider 改造极其相似,这里不再贴出代码示例。

五. 将改造后的项目部署到 K8S + Istio:

将下面三个配置文件通过 kubectl 在 K8S+Istio 的集群中执行,即可完成改造后的项目在 K8S+Istio 集群中的部署。

5.1 创建 dubbo-provider K8S Deployment、K8S Service(ClusterIP),提供集群内访问服务

dubbo-provider-service.yml 配置文件示例:

apiVersion: v1
kind: Service
metadata:
  name: dubbo-provider
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 8001
  selector:
    k8s-app: dubbo-provider
    qcloud-app: dubbo-provider

---

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  name: dubbo-provider-deployment
  labels:
    k8s-app: dubbo-provider
    qcloud-app: dubbo-provider
spec:
  replicas: 2 # 副本数量
  selector:
    matchLabels:
      k8s-app: dubbo-provider
      qcloud-app: dubbo-provider
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  template:
    metadata:
      labels:
        k8s-app: dubbo-provider
        qcloud-app: dubbo-provider
    spec:
      containers:
        - name: dubbo-provider
          image: ccr.ccs.tencentyun.com/axlyzhang-images/dubbo-provider:v1.1 # 镜像地址
          env:
            - name: PATH
              value: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
            - name: LANG
              value: C.UTF-8
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-8-openjdk-amd64
            - name: JAVA_VERSION
              value: 8u111
          resources:
            limits:
              cpu: 500m
              memory: 1Gi
            requests:
              cpu: 250m
              memory: 256Mi
          securityContext:
            privileged: false
            procMount: Default
      imagePullSecrets:
        - name: qcloudregistrykey
        - name: tencenthubkey

5.2 创建 dubbo-consumer K8S Deployment、K8S Service(ClusterIP),提供集群内访问服务:

dubbo-consumer-service.yml 配置文件示例:

apiVersion: v1
kind: Service
metadata:
  name: dubbo-consumer
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 8002
  selector:
    k8s-app: dubbo-consumer
    qcloud-app: dubbo-consumer

---

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  name: dubbo-consumer-deployment
  labels:
    k8s-app: dubbo-consumer
    qcloud-app: dubbo-consumer
spec:
  replicas: 2 # 副本数量
  selector:
    matchLabels:
      k8s-app: dubbo-consumer
      qcloud-app: dubbo-consumer
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  template:
    metadata:
      labels:
        k8s-app: dubbo-consumer
        qcloud-app: dubbo-consumer
    spec:
      containers:
        - name: dubbo-consumer
          image: ccr.ccs.tencentyun.com/axlyzhang-images/dubbo-consumer:v1.0 # 镜像地址
          env:
            - name: PATH
              value: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
            - name: LANG
              value: C.UTF-8
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-8-openjdk-amd64
            - name: JAVA_VERSION
              value: 8u111
          resources:
            limits:
              cpu: 500m
              memory: 1Gi
            requests:
              cpu: 250m
              memory: 256Mi
          securityContext:
            privileged: false
            procMount: Default
      imagePullSecrets:
        - name: qcloudregistrykey
        - name: tencenthubkey

5.3 创建 istio ingressgateway、VirtualService,提供公网访问入口,并进行流量治理测试:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: dubbo-consumer-gateway
spec:
  selector:
    istio: ingressgateway # use istio default controller
  servers:
    - port:
        number: 80
        name: http
        protocol: HTTP
      hosts:
        - "*"

---

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: consumer-vs
spec:
  hosts:
    - "*"
  gateways:
    - dubbo-consumer-gateway
  http:
    - match:
        - uri:
            prefix: /hello/error
      route:
        - destination:
            host: dubbo-consumer
            port:
              number: 8003   -- 错误的服务端口
    - route:
        - destination:
            host: dubbo-consumer
            port:
              number: 8002   -- 正确的服务端口

六. 改造成果验证及总结:

  • http://111.230.187.114/hello/world (virtualservice 配置路由到一个正确的服务端口 8002,正常访问)
  • http://111.230.187.114/hello/error (virtualservice 配置路由到一个错误的服务端口 8003,访问出错,证明 VirtualService 已经起到了服务治理的作用,项目改造验证成功)

经过上面几步操作,我们成功的将一个 Dubbo 项目改造成了一个 Service Mesh 项目,并在 K8S + Istio 集群中部署成功、测试通过。

当然,真实业务系统中的架构复杂度是远高于这个 Demo 的,实际改造的难度要比改造这个 Demo 大得多。这篇文章只是抱砖引玉,希望可以跟大家继续探讨 Dubbo 向 Service Mesh 改造的更好方式。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Android如何将一个项目作为library导入另一个项目

    当我第一次被要求用这样的方法将一个项目当做library导入另一个项目时,其实我是拒绝的,因为,你不能让我导,我就马上导,第一我要试一下,因为我不愿意导入完成后...

    代码咖啡
  • Dubbo 迁移 Istio 改造方案汇总

    最近,腾讯云云加社区有一些关于 Dubbo 迁移 Istio 的文章,现总结如下。

    谢正伟
  • JIRA 如何将一个项目转换为 Scrum 项目

    如果你没有管理员权限的话,在这里就不能进行操作了,否则的话需要提示你输入你的用户名和密码后继续。

    HoneyMoose
  • 如何生成一个thinkphp项目

    在 WEB 根目录下创建项目目录 app,把框架包放至 app 目录下,然后在 app 目录下创建入口文件 index.php。

    PM吃瓜
  • Dubbo 与 Istio 共生

    当下,越来越多的应用迁入了容器集群。“享受着”云原生带来的便利。mesh 也越来越被广大程序员所接受。

    谢正伟
  • Dubbo 与 Istio 共生

    当下,越来越多的应用迁入了容器集群。“享受着”云原生带来的便利。mesh 也越来越被广大程序员所接受。

    谢正伟
  • 如何将一个开源项目加入CNCF?

    前段时间看了一篇文章为什么中国没有 Apache 基金会这样的组织,二叉树视频中采访了开源社的理事长老刘,他的一番话也让我很受启发,在关注和参与 CNCF 基金...

    开源社
  • 2018-08-25 如何熟悉一个新项目如何熟悉一个新项目

    很多新人进入一家新公司后,最头疼的就是如何快速了解公司的业务和项目架构。或者说不要求快速,给你足够的时间,也很难在庞大的业务中整理出思绪。当然,如果你碰到一个特...

    Albert陈凯
  • IDEA中一个项目如何导入另一个依赖的项目?

    TrueDei
  • Dubbo Mesh 在闲鱼生产环境中的落地实践

    本文作者至简曾在 2018 QCon 上海站以《Service Mesh 的本质、价值和应用探索》为题做了一次分享,其中谈到了 Dubbo Mesh 的整体发展...

    kirito-moe
  • 如何将一个项目上传至Github仓库

    cherishspring
  • 如何接手一个新项目

    2、为技术服务的项目,比如开源中间件项目(dubbo、spring cloud、各种数据库中间件、各种缓存方案等);

    古时的风筝
  • 如何新建一个vue项目

    大家都知道国内直接使用npm 的官方镜像是非常慢的,这里推荐使用淘宝 NPM 镜像。

    故久
  • 从侵入式服务治理到Service Mesh

    目前service mesh技术在互联网公司中越来越流行,那么之前分布式系统是如何服务治理的呢,又是如何一步步发展成service mesh的呢?

    luoxn28
  • Dubbo on Istio 改造方案的思考

    虽然 Dubbo 是个很优秀的 SOA 框架,在国内也是非常流行,但在 service mesh 的大风下,有些跟不上时代了。一方面官方还没有给出权威的 mes...

    鲍远林
  • Dubbo on Istio 改造方案的思考

    虽然 Dubbo 是个很优秀的 SOA 框架,在国内也是非常流行,但在 service mesh 的大风下,有些跟不上时代了。一方面官方还没有给出权威的 mes...

    鲍远林
  • 干货 | 快速融入云原生,携程开源 Dubbo for Go 版本

    何鑫铭,携程基础中台研发部技术专家,dubbo-go 主要作者。目前专注于 Golang & Java、中台架构、中间件与区块链等技术。

    携程技术
  • 如何做好一个开源项目(一)

    做好一个开源项目其实是一件比较费时费力费心的工作,它的最大难点除了代码维护之外,还包括后期的维护和持续的跟进。我曾经做过不少开源项目,但是坚持下来的,目前有信心...

    心莱科技雪雁
  • 如何做好一个开源项目(一)

    做好一个开源项目其实是一件比较费时费力费心的工作,它的最大难点除了代码维护之外,还包括后期的维护和持续的跟进。我曾经做过不少开源项目,但是坚持下来的,目前有信心...

    雪雁-心莱科技

扫码关注云+社区

领取腾讯云代金券