专栏首页用户2442861的专栏基于protobuf的RPC实现

基于protobuf的RPC实现

http://blog.csdn.net/kevinlynx/article/details/39379957

可以对照使用google protobuf RPC实现echo service一文看,细节本文不再描述。

google protobuf只负责消息的打包和解包,并不包含RPC的实现,但其包含了RPC的定义。假设有下面的RPC定义:

[cpp] view plain copy

  1. service MyService {  
  2.         rpc Echo(EchoReqMsg) returns(EchoRespMsg)   
  3.     }  

那么要实现这个RPC需要最少做哪些事?总结起来需要完成以下几步:

客户端

RPC客户端需要实现google::protobuf::RpcChannel。主要实现RpcChannel::CallMethod接口。客户端调用任何一个RPC接口,最终都是调用到CallMethod。这个函数的典型实现就是将RPC调用参数序列化,然后投递给网络模块进行发送。

[cpp] view plain copy

  1. void CallMethod(const ::google::protobuf::MethodDescriptor* method,  
  2.                   ::google::protobuf::RpcController* controller,  
  3. const ::google::protobuf::Message* request,  
  4.                   ::google::protobuf::Message* response,  
  5.                   ::google::protobuf::Closure* done) {  
  6.         ...  
  7.         DataBufferOutputStream outputStream(...) // 取决于你使用的网络实现
  8.         request->SerializeToZeroCopyStream(&outputStream);  
  9.         _connection->postData(outputStream.getData(), ...  
  10.         ...  
  11.     }  

服务端

服务端首先需要实现RPC接口,直接实现MyService中定义的接口:

[cpp] view plain copy

  1. class MyServiceImpl : public MyService {  
  2. virtual void Echo(::google::protobuf::RpcController* controller,  
  3. const EchoReqMsg* request,  
  4.             EchoRespMsg* response,  
  5.             ::google::protobuf::Closure* done) {  
  6.             ...  
  7.             done->Run();  
  8.         }  
  9.     }  

标示service&method

基于以上,可以看出服务端根本不知道客户端想要调用哪一个RPC接口。从服务器接收到网络消息,到调用到MyServiceImpl::Echo还有很大一段距离。

解决方法就是在网络消息中带上RPC接口标识。这个标识可以直接带上service name和method name,但这种实现导致网络消息太大。另一种实现是基于service name和method name生成一个哈希值,因为接口不会太多,所以较容易找到基本不冲突的字符串哈希算法。

无论哪种方法,服务器是肯定需要建立RPC接口标识到protobuf service对象的映射的。

这里提供第三种方法:基于option的方法。

protobuf中option机制类似于这样一种机制:service&method被视为一个对象,其有很多属性,属性包含内置的,以及用户扩展的。用户扩展的就是option。每一个属性有一个值。protobuf提供访问service&method这些属性的接口。

首先扩展service&method的属性,以下定义这些属性的key:

[cpp] view plain copy

  1. extend google.protobuf.ServiceOptions {  
  2.       required uint32 global_service_id = 1000;   
  3.     }  
  4.     extend google.protobuf.MethodOptions {  
  5.       required uint32 local_method_id = 1000;  
  6.     }  

应用层定义service&method时可以指定以上key的值:

[cpp] view plain copy

  1. service MyService  
  2.     {  
  3.         option (arpc.global_service_id) = 2302;   
  4.         rpc Echo(EchoReqMsg) returns(EchoRespMsg)   
  5.         {  
  6.             option (arpc.local_method_id) = 1;  
  7.         }  
  8.         rpc Echo_2(EchoReqMsg) returns(EchoRespMsg)   
  9.         {  
  10.             option (arpc.local_method_id) = 2;  
  11.         }  
  12.         ...  
  13.     }  

以上相当于在整个应用中,每个service都被赋予了唯一的id,单个service中的method也有唯一的id。

然后可以通过protobuf取出以上属性值:

[cpp] view plain copy

  1.                   ::google::protobuf::RpcController* controller,  
  2. const ::google::protobuf::Message* request,  
  3.                   ::google::protobuf::Message* response,  
  4.                   ::google::protobuf::Closure* done) {  
  5.         ...  
  6.         google::protobuf::ServiceDescriptor *service = method->service();  
  7.         uint32_t serviceId = (uint32_t)(service->options().GetExtension(global_service_id));  
  8.         uint32_t methodId = (uint32_t)(method->options().GetExtension(local_method_id));  
  9.         ...  
  10.     }  

考虑到serviceId methodId的范围,可以直接打包到一个32位整数里:

[plain] view plain copy

  1. uint32_t ret = (serviceId << 16) | methodId;  

然后就可以把这个值作为网络消息头的一部分发送。

当然服务器端是需要建立这个标识值到service的映射的:

[cpp] view plain copy

  1. bool MyRPCServer::registerService(google::protobuf::Service *rpcService) {  
  2. const google::protobuf::ServiceDescriptor = rpcService->GetDescriptor();  
  3. int methodCnt = pSerDes->method_count();  
  4. for (int i = 0; i < methodCnt; i++) {  
  5.             google::protobuf::MethodDescriptor *pMethodDes = pSerDes->method(i);  
  6.             uint32_t rpcCode = PacketCodeBuilder()(pMethodDes); // 计算出映射值
  7.             _rpcCallMap[rpcCode] = make_pair(rpcService, pMethodDes); // 建立映射
  8.         }  
  9. return true;  
  10.     }  

服务端收到RPC调用后,取出这个标识值,然后再从_rpcCallMap中取出对应的service和method,最后进行调用:

[cpp] view plain copy

  1. google::protobuf::Message* response = _pService->GetResponsePrototype(_pMethodDes).New();  
  2. // 用于回应的closure
  3.     RPCServerClosure *pClosure = new (nothrow) RPCServerClosure(   
  4.             _channelId, _pConnection, _pReqMsg, pResMsg, _messageCodec, _version);  
  5.     RPCController *pController = pClosure->GetRpcController();  
  6.     ...  
  7. // protobuf 生成的CallMethod,会自动调用到Echo接口
  8.     _pService->CallMethod(_pMethodDes, pController, _pReqMsg, pResMsg, pClosure);  

参考

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 循环神经网络教程第三部分-BPTT和梯度消失

    作者:徐志强 链接:https://zhuanlan.zhihu.com/p/22338087 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,...

    bear_fish
  • 最小二乘法和梯度下降法有哪些区别? 以及梯度下降法Python实现

    相同 1.本质相同:两种方法都是在给定已知数据(independent & dependent variables)的前提下对dependent variab...

    bear_fish
  • openCV—Python(11)—— 图像边缘检测

    bear_fish
  • 我们的spring事务的开发规范

    因为spring默认的事务传播机制是使用现有的事务,如果调用一个新建事务的service,那事务回滚需要很小心。内层的事务如果抓住异常没抛,那内层的回滚、外层的...

    叔叔
  • 程序的入口

    操作系统装载应用程序后,做完初始化工作就转到程序的入口点执行。程序的默认入口点由连接程序设置, 不同的连接器选择的入口函数也不尽相同。在VC++下,连接...

    _gongluck
  • 产品经理语言学习指南,看完整个人通透多了

    腾讯大讲堂
  • day02_css学习笔记

    黑泽君
  • Java多线程高并发学习笔记(二)——深入理解ReentrantLock与Condition

    锁的概念 从jdk发行1.5版本之后,在原来synchronize的基础上,增加了重入锁ReentrantLock。 本文就不介绍synchronize了,有兴...

    Janti
  • AI 技术讲座精选:如何用 Keras 调试LSTM超参数解决时间序列预测问题

    配置神经网络十分困难,因为并没有关于如何进行配置的好理论。 你必须用系统化的思维从动态结果和客观结果这两个角度探讨不同配置,设法理解给定预测建模问题。 在本教程...

    AI科技大本营
  • 腾讯教育付金懋:教育采购模式由采买产品到采买服务

    8月19日,第六届“互联网+教育”创新周在中关村互联网教育创新中心开幕。腾讯教育产品负责人付金懋出席了本次创新周,分享了其对后疫情时期教育信息化发展的思考,以...

    鹅老师

扫码关注云+社区

领取腾讯云代金券