专栏首页捉虫大师使用dubbo-go搭建dubbo接口测试平台
原创

使用dubbo-go搭建dubbo接口测试平台

背景

http接口测试只需要一个curl命令,但dubbo协议没有这样的现成接口测试工具。通常公司内的dubbo控制台或其他平台会集成一个dubbo接口测试工具。

调用一个dubbo接口,需要知道服务名service、方法名method和参数args

正常的调用,调用方需引入服务提供方定义的接口jar包。

作为接口测试平台,没办法引入所有提供方定义的接口jar包,可以有以下方案来解决:

  1. dubbo支持telnet协议调用dubbo接口
  2. dubbo的泛化调用可以在不引入提供方接口定义jar包的情况下对接口进行调用

对于方案1,实现成本很低,甚至可以在服务器上直接用telnet测试

1.png

它也有缺点

  • 调用无法经过filter
  • 无法携带隐式参数attachment

刚好我们把方案1的优缺点都踩了,我们的dubbo控制台是go语言编写,短时间快速实现,就采用了telnet的方式。

随着业务的发展,流量染色,或标签路由等需要携带隐式参数。

没有走自定义filter,导致业务接口执行不符合预期等都迫使我们升级为泛化调用。

dubbo接口泛化调用在控制台是go编写的情况下也有两个方案可选:

  1. 单独起一个java进程,暴露http端口,与go进程进行交互,泛化调用使用dubbo的java sdk进行编写
  2. 控制台引入dubbo-go,使用dubbo-go进行泛化调用

出于对dubbo java版本的了解,方案1肯定可行,只是架构变得复杂。

而方案2由于dubbo-go还是比较新的项目,并不是很了解,所以不确定其可行性和兼容性,但如果能实现,会大大降低架构的复杂度。

dubbo-go介绍

dubbo-go是dubbo的golang实现版本,它出现的初衷是为了让golang和java的dubbo生态互通。

如今dubbo-go支持provider和consumer端,可以作为一个独立的rpc框架使用,同时社区也是dubbo生态中最火的一个。

如果要说它的意义,我觉得除了和java互通外还有一点非常重要,那就是它能发挥golang协程的巨大作用,这一点可以用在dubbo网关上,如果用dubbo-go实现dubbo网关,就无需纠结线程池、异步等问题。

泛化调用的使用

首先provider端提供一个接口,这个不再赘述,非常简单,接口定义如下

package org.newboo.basic.api;

import org.newboo.basic.model.RpcResult;
import org.newboo.basic.model.User;

public interface MyDemoService {
    RpcResult<String> call(User user);
}
package org.newboo.basic.model;

import java.io.Serializable;

public class User implements Serializable {
    private String uid;
    private String name;
    private String remoteServiceTag;
    ...
}

再来编写java版的泛化调用代码,不引入provider方的jar包:

ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
// ①引用服务名
reference.setInterface("org.newboo.basic.api.MyDemoService");
// ②设置泛化调用标志
reference.setGeneric("true");

DubboBootstrap bootstrap = DubboBootstrap.getInstance();
bootstrap.application(new ApplicationConfig("dubbo-demo-api-consumer"))
        .registry(new RegistryConfig("zookeeper://127.0.0.1:2181"))
        .reference(reference)
        .start();

GenericService genericService = ReferenceConfigCache.getCache().get(reference);
String[] ps = new String[1];
// ③参数类型
ps[0] = "org.newboo.basic.model.User";
Object[] ags = new Object[1];
// ④pojo参数使用map构造
Map<String, String> user = new HashMap<>();
user.put("uid", "1");
user.put("name", "roshi");
user.put("remoteServiceTag", "tag");
ags[0] = user;
// ⑤发起调用
Object res = genericService.$invoke("call", ps, ags);
System.out.println(res);

关键的步骤已在代码注释中标明

golang版本

直接修改的dubbo-go-samples代码,参考https://github.com/apache/dubbo-go-samples 启动时需要设置配置文件路径ENVvar ( appName = "UserConsumer" referenceConfig = config.ReferenceConfig{ InterfaceName: "org.newboo.basic.api.MyDemoService", Cluster: "failover", // registry需要配置文件 Registry: "demoZk", Protocol: dubbo.DUBBO, Generic: true, } )func init() { referenceConfig.GenericLoad(appName) //appName is the unique identification of RPCService time.Sleep(1 * time.Second) }// need to setup environment variable "CONF_CONSUMER_FILE_PATH" to "conf/client.yml" before run func main() { call() }func call() { // 设置attachment ctx := context.WithValue(context.TODO(), constant.AttachmentKey, mapstringstring{"tag":"test"})resp, err := referenceConfig.GetRPCService().(*config.GenericService).Invoke( ctx, []interface{}{ "call", []string{"org.newboo.basic.model.User"}, []interface{}{map[string]string{"uid":"111","name":"roshi","remoteServiceTag":"hello"}}, }, ) if err != nil { panic(err) } gxlog.CInfo("success called res: %+v\n", resp)}这里我设置了一个attachment,也能正常被provider识别

2.png

泛化调用原理

泛化调用GenericService是dubbo默认提供的一个服务。

其提供了一个名为$invoke的方法,该方法参数有三个,第一个参数是真实要调用的方法名,第二个是参数类型数组,第三个是真实的参数数组,其定义为

public interface GenericService {
    Object $invoke(String method, String[] parameterTypes, Object[] args) throws GenericException;
    ...
}

有了这三个参数,利用反射就能调用到真实的接口了。

java版实现细节

实现这种泛化调用主要涉及到两个filter:

  • consumer端的GenericImplFilter
  • provider端的GenericFilter

consumer端的filter将generic标志设置到attachment中,并封装调用为GenericService.$invoke

provider端filter判断请求是generic时进行拦截,获取调用方法名、参数、参数值,先序列化为pojo对象,再进行反射调用真实接口。

dubbo-go版细节

与java实现基本一致,其中generic_filter充当consumer端的filter,也是将调用封装为GenericService.$invoke,其中还涉及到一个参数类型的转换,将map转换为dubbo-go-hessian2.Object,这样provider端就可以将其反序列化为Object对象。

与其相关的版本变更如下

  • v1.3.0开始支持泛化调用
  • v1.4.0开始支持用户设置attachement
  • v1.5.1开始支持动态tag路由
  • v1.5.7-rc1修复了直连provider时无法走filter的bug

踩坑:v1.5.7-rc1 之前如果使用直连provider的方式,不会走filter,导致参数序列化出错,provider端会报类型转换异常

结论

dubbo-go的泛化调用推荐使用>=v1.5.7-rc1版本,其功能几乎已和java版打平,甚至其实现都与java类似。

使用dubbo-go构建网关、接口测试平台、或者打通golang与java技术生态,不失为一个好的选择。


搜索关注微信公众号"捉虫大师",后端技术分享,架构设计、性能优化、源码阅读、问题排查、踩坑实践。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 接口测试平台:Dubbo接口支持

    与http请求的处理基本一致,都是逐条case遍历进行处理,区别在于String result = ApiTestUtils.doDubboRequest(du...

    软件测试君
  • 使用Jmeter测试Dubbo接口

    jmeter技术研究
  • dubbo-go介绍

    dubbo-go 是目前 Dubbo 多语言生态最火热的项目。dubbo-go 最早的版本应该要追溯到 2016 年,由社区于雨同学编写 dubbo-go 的初...

    heidsoft
  • 使用 Dubbo 搭建一个简单的分布式系统

    随着阿里巴巴开源的高性能分布式 RPC 框架 Dubbo 正式进入 Apache 孵化器,Dubbo 又火了一把。本文作为 Dubbo 系列开端,先教大家使用 ...

    CSDN技术头条
  • 干货 | 快速融入云原生,携程开源 Dubbo for Go 版本

    何鑫铭,携程基础中台研发部技术专家,dubbo-go 主要作者。目前专注于 Golang & Java、中台架构、中间件与区块链等技术。

    携程技术
  • Dubbo服务注册与发现

    本文链接:https://blog.csdn.net/u014427391/article/details/96754952

    SmileNicky
  • dubbo-go 的开发、设计与功能介绍

    dubbo-go 是目前 Dubbo 多语言生态最火热的项目。dubbo-go 最早的版本应该要追溯到 2016 年,由社区于雨同学编写 dubbo-go 的初...

    Java帮帮
  • 你看得上瘾的斗鱼,首次开源了自家项目

    上个月,斗鱼将基于 Go 语言的微服务框架 Jupiter 开源。作为国内知名的互联网直播公司,这也是斗鱼首次以公司的名义正式推出开源项目。

    良月柒
  • Dubbo 整合 Pinpoint 做分布式服务请求跟踪

    在使用Dubbo进行服务化或者整合应用后,假设某个服务后台日志显示有异常,这个服务又被多个应用调用的情况下,我们通常很难判断是哪个应用调用的,问题的起因是什么,...

    搜云库技术团队
  • 一文教你 Dubbo 服务性能压测(with JMeter)

    最近在做Dubbo服务与Prometheus的监控集成,为了测试监控组件对Dubbo RPC 调用的性能影响,就需要对添加前后做性能测试。虽然之前给组内搭建了统...

    好好学java
  • 流量录制与回放技术实践

    本文主要介绍了流量录制与回放技术在压测场景下的应用。通过阅读本篇文章,你将了解到开源的录制工具如何与内部系统集成、如何进行二次开发以支持 Dubbo 流量录制、...

    田小波
  • Java RPC 分布式框架性能大比拼,Dubbo排老几?

    Dubbo 是开源的一个Java高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和 Spring框架无缝集成。

    Java技术栈
  • Java 分布式 RPC 框架性能大比拼,Dubbo 排第几?

    其它的一些知名电商如当当、京东、国美维护了自己的分支或者在dubbo的基础开发,但是官方的库缺乏维护,相关的依赖类比如Spring,Netty还是很老的版本(S...

    芋道源码
  • 互联网公司想月薪15K挖走大牛程序员网友:欠你的吗

    @路比咯:这程序员很实在,都说到点上根本不浪费彼此时间,个人感觉是这个HR气量太小反应过激才说了这些鬼

    欧阳愠斐
  • 基于Springboot+Dubbo+Nacos 注解方式实现微服务调用

    今天跟大家分享基于Springboot+Dubbo+Nacos 注解方式实现微服务调用的知识。

    程序员小强
  • 使用SpringBoot+Dubbo搭建一个简单的分布式服务

    开始实战之前,我们先来简单的了解一下这样几个概念:Dubbo、RPC、分布式、由于本文的目的是带大家使用SpringBoot+Dubbo 搭建一个简单的分布式服...

    好好学java
  • 聊聊Dubbox(一):为何选择

    1. 前言 随着现在互联网行业的发展,越来越多的框架、中间件、容器等开源技术不断地涌现,更好地来服务于业务,解决实现业务的问题。然而面对众多的技术选择,我们要如...

    用户1263954
  • 聊聊Dubbox(一):为何选择

    1. 前言 随着现在互联网行业的发展,越来越多的框架、中间件、容器等开源技术不断地涌现,更好地来服务于业务,解决实现业务的问题。然而面对众多的技术选择,我们要如...

    企鹅号小编
  • Thrift RPC 框架分析

    工作中用到Thrift,一直想深入研究一下。今天这篇博客以提问的方式,分析Thrift的源码。文章部分参考自:Thrift源码分析。

    Yano_nankai

扫码关注云+社区

领取腾讯云代金券