Haodoop RPC解析

1.  前言

本文主要是介绍Hadoop RPC子系统的关键模块的结构和流程。

2. Hadoop RPC

2.1. 总体结构

HadoopRPC逻辑上分成三部分，如上图所示。

2.1.1. RPC Interface

RPC对外接口。

2.1.2. RPC Server

RPC服务端的实现。

2.1.3. RPC Client

RPC客户端的实现。

2.2. RPC Interface

RPC是对外的接口类，主要提供两个方法：getProxy和getServer。

2.2.1. getServer

? 说明

RPC服务端接口。为指定协议的实例，在指定的地址和端口上启动服务。

? 函数原型

public static Server getServer(

                    final Object instance,

                    final String bindAddress,

                    final int port,

                    final int numHandlers,

                    final boolean verbose,

                    Configuration conf) throws IOException;

? 参数说明

1) Instance

RPC Server端对象实例，也就是RPC Client调用的接口实例。

2) bindAddress

RPC Server监听的IP地址。

3) Port

RPC Server监听的端口号。

4) numHandlers

处理Call队列的Handler线程个数。

5) Verbose

6) conf

配置项。

2.2.2. getProxy

? 说明

RPC客户端接口，创建一个指定服务端的代理。

? 函数原型

public static VersionedProtocol getProxy(

                    Class<? extends VersionedProtocol> protocol,

                    long clientVersion,

                    InetSocketAddress addr,

                    UserGroupInformation ticket,

                    Configuration conf,

                    SocketFactory factory) throws IOException;

? 参数说明

1) protocol

RPC Server提供RPC服务的接口。

2) clientVersion

客户端的版本号。

3) addr

RPC Server地址。

4) ticket

5) conf

配置项。

6) factory

SOCKET工厂。

2.3. RPC Server

2.3.1. RPC Server结构

2.3.1.1. Server

抽象的RPC服务，提供Call队列。

2.3.1.2. RPC.Server

Server的实现。

2.3.1.3. Server.Listener

RPC服务端的监听者，用来接受RPC客户端的连接请求和数据的收发。

2.3.1.4. Server.Handler

RPC服务端的Call处理者，和Server.Listener通过Call队列交互。

2.3.1.5. Server.Responder

RPC服务端的响应者。Server.Handler向RPC客户端发送响应是异步非阻塞的，如果有未发送出的数据，交由Server.Responder来完成。

2.3.1.6. Server.Connection

提供接收数据，解析数据包的功能。

2.3.1.7. Server.Call

持有客户端的Call信息。

2.3.2. RPC Server主要流程

2.3.2.1. 接收Call调用

接收RPC Client的调用，并编码成Call对象，放入到Call队列中，这个过程在Listener线程中完成。

? 步骤说明：

1) Listener线程循环等待RPC客户端的发送数据过来

2) 当有数据可以接收时，调用Connection的readAndProcess方法

3) Connection边接收边对数据进行处理，如果接收到一个完整的Call包，则构建一个Call对象，并将这个Call对象PUSH到Call队列中，由Handler线程来处理Call队列中的所有Call。

2.3.2.2. 处理Call调用

处理Call队列中的每个请求，在Handler线程中完成。

? 步骤说明：

1) Handler线程循环监听Call队列，如果Call队列为空，则进入wait状态，否则按FIFO规则从Call队列取出Call

2) 将Call交给RPC.Server处理（调用RPC.Server的Call）

3) 借助JDK提供的Method，完成对目标方法的调用

4) 返回响应。由于响应需要通过SOCKET返回给RPC客户端，所以响应的类型必须是Writable。

2.4. RPC Client

2.4.1. RPC Client结构

2.4.1.1. Client

RPC客户端的实现和入口类。

2.4.1.2. Client.ConnectionId

到RPC服务端对象连接的标识。

2.4.1.3. Client.Call

存储Call调用信息。

2.4.1.4. Client.ParallelResults

存储响应。

2.4.1.5. RPC.Invoker

对InvocationHandler的实现，提供invoke方法，截获RPC客户端对RPC服务端对象的调用。

2.4.1.6. RPC.Invocation

用来序列化和反序列化RPC客户端的调用信息，包括方法名和参数信息。

2.4.2. RPC Client主要流程

2.4.2.1. Call流程

客户端RPC调用的处理流程，转化为SOCKET通信。

? 步骤说明：

1) RPC客户端发起一个RPC调用时，JAVA的反射机制会截获该调用，并转化为对Client.call的调用

2) 调用getConnection建立到RPC服务端的连接

3) 通过Connection将序列化后的参数发送到RPC服务端

4) 等待RPC服务端返回响应。

2.4.2.2. getConnection流程

该流程用来建立到RPC Server端的连接，到一个RPC Server端只会建立一个连接。

? 步骤说明：

1) 根据RPC服务端的地址和接口从连接池中获取一个，如果取到Connection则直接返回

2) 否则新建一个Connection，并将它放入到连接池中

3) 然后通过SocketFactory创建一个Socket，并建立到RPC服务端的连接，如果连接不成功，则重试

4) 创建和关联输入和输出流对象。

2.5. RPC线程关系

客户端发起的RPC调用都是同步的，而服务端处理RPC调用是异步的。客户端调用线程以阻塞同步的方式发起RPC连接，及RPC调用，将参数等信息发送给Listener，然后就等待Connection接收完响应返回。

Listener负责接收RPC连接，和RPC数据，当一个Call的数据接收完后，组装成Call，并将Call放入由Handler提供的Call队列中。

Handler线程一直监听Call队列，如果Call队列不为空，则按队列方式取出一个Call，并转为实际调用，以非阻塞方式将响应发回给Connection，剩下未发送完毕的响应交给Responder处理。