Haodoop RPC解析

1.  前言

本文主要是介绍Hadoop RPC子系统的关键模块的结构和流程。

2. Hadoop RPC

2.1. 总体结构

HadoopRPC逻辑上分成三部分,如上图所示。

2.1.1. RPC Interface

RPC对外接口。

2.1.2. RPC Server

RPC服务端的实现。

2.1.3. RPC Client

RPC客户端的实现。

2.2. RPC Interface

RPC是对外的接口类,主要提供两个方法:getProxy和getServer。

2.2.1. getServer

? 说明

RPC服务端接口。为指定协议的实例,在指定的地址和端口上启动服务。

? 函数原型

public static Server getServer(

                    final Object instance,

                    final String bindAddress,

                    final int port,

                    final int numHandlers,

                    final boolean verbose,

                    Configuration conf) throws IOException;

? 参数说明

1) Instance

RPC Server端对象实例,也就是RPC Client调用的接口实例。

2) bindAddress

RPC Server监听的IP地址。

3) Port

RPC Server监听的端口号。

4) numHandlers

处理Call队列的Handler线程个数。

5) Verbose

6) conf

配置项。

2.2.2. getProxy

? 说明

RPC客户端接口,创建一个指定服务端的代理。

? 函数原型

public static VersionedProtocol getProxy(

                    Class<? extends VersionedProtocol> protocol,

                    long clientVersion,

                    InetSocketAddress addr,

                    UserGroupInformation ticket,

                    Configuration conf,

                    SocketFactory factory) throws IOException;

? 参数说明

1) protocol

RPC Server提供RPC服务的接口。

2) clientVersion

客户端的版本号。

3) addr

RPC Server地址。

4) ticket

5) conf

配置项。

6) factory

SOCKET工厂。

2.3. RPC Server

2.3.1. RPC Server结构

2.3.1.1. Server

抽象的RPC服务,提供Call队列。

2.3.1.2. RPC.Server

Server的实现。

2.3.1.3. Server.Listener

RPC服务端的监听者,用来接受RPC客户端的连接请求和数据的收发。

2.3.1.4. Server.Handler

RPC服务端的Call处理者,和Server.Listener通过Call队列交互。

2.3.1.5. Server.Responder

RPC服务端的响应者。Server.Handler向RPC客户端发送响应是异步非阻塞的,如果有未发送出的数据,交由Server.Responder来完成。

2.3.1.6. Server.Connection

提供接收数据,解析数据包的功能。

2.3.1.7. Server.Call

持有客户端的Call信息。

2.3.2. RPC Server主要流程

2.3.2.1. 接收Call调用

接收RPC Client的调用,并编码成Call对象,放入到Call队列中,这个过程在Listener线程中完成。

? 步骤说明:

1) Listener线程循环等待RPC客户端的发送数据过来

2) 当有数据可以接收时,调用Connection的readAndProcess方法

3) Connection边接收边对数据进行处理,如果接收到一个完整的Call包,则构建一个Call对象,并将这个Call对象PUSH到Call队列中,由Handler线程来处理Call队列中的所有Call。

2.3.2.2. 处理Call调用

处理Call队列中的每个请求,在Handler线程中完成。

? 步骤说明:

1) Handler线程循环监听Call队列,如果Call队列为空,则进入wait状态,否则按FIFO规则从Call队列取出Call

2) 将Call交给RPC.Server处理(调用RPC.Server的Call)

3) 借助JDK提供的Method,完成对目标方法的调用

4) 返回响应。由于响应需要通过SOCKET返回给RPC客户端,所以响应的类型必须是Writable。

2.4. RPC Client

2.4.1. RPC Client结构

2.4.1.1. Client

RPC客户端的实现和入口类。

2.4.1.2. Client.ConnectionId

到RPC服务端对象连接的标识。

2.4.1.3. Client.Call

存储Call调用信息。

2.4.1.4. Client.ParallelResults

存储响应。

2.4.1.5. RPC.Invoker

对InvocationHandler的实现,提供invoke方法,截获RPC客户端对RPC服务端对象的调用。

2.4.1.6. RPC.Invocation

用来序列化和反序列化RPC客户端的调用信息,包括方法名和参数信息。

2.4.2. RPC Client主要流程

2.4.2.1. Call流程

客户端RPC调用的处理流程,转化为SOCKET通信。

? 步骤说明:

1) RPC客户端发起一个RPC调用时,JAVA的反射机制会截获该调用,并转化为对Client.call的调用

2) 调用getConnection建立到RPC服务端的连接

3) 通过Connection将序列化后的参数发送到RPC服务端

4) 等待RPC服务端返回响应。

2.4.2.2. getConnection流程

该流程用来建立到RPC Server端的连接,到一个RPC Server端只会建立一个连接。

? 步骤说明:

1) 根据RPC服务端的地址和接口从连接池中获取一个,如果取到Connection则直接返回

2) 否则新建一个Connection,并将它放入到连接池中

3) 然后通过SocketFactory创建一个Socket,并建立到RPC服务端的连接,如果连接不成功,则重试

4) 创建和关联输入和输出流对象。

2.5. RPC线程关系

客户端发起的RPC调用都是同步的,而服务端处理RPC调用是异步的。客户端调用线程以阻塞同步的方式发起RPC连接,及RPC调用,将参数等信息发送给Listener,然后就等待Connection接收完响应返回。

Listener负责接收RPC连接,和RPC数据,当一个Call的数据接收完后,组装成Call,并将Call放入由Handler提供的Call队列中。

Handler线程一直监听Call队列,如果Call队列不为空,则按队列方式取出一个Call,并转为实际调用,以非阻塞方式将响应发回给Connection,剩下未发送完毕的响应交给Responder处理。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏惨绿少年

MongoDB的备份与恢复

1.1 MongoDB的常用命令 mongoexport / mongoimport mongodump / mongorestore      有以上两组命...

1.2K60
来自专栏屈政斌的专栏

【腾讯云的1001种玩法】centos 7 部署 dotnetcore + Angular2 实践

本文主要讲述了使用腾讯云主机,在centos 7 部署 dotnetcore + Angular2 的实践过程,该项目目前只是用于学习 dotnetcore ...

2.7K10
来自专栏云计算教程系列

在Ubuntu 16.04如何使用Percona将MySQL类别的数据库备份到指定的对象存储上呢?

数据库通常会在您的基础架构中存储一些最有价值的信息。因此,在发生事故或硬件故障时,必须具有可靠的备份以防止数据丢失。

15930
来自专栏犀利豆的技术空间

Redis 分布式锁的正确实现方式

之前我们使用的定时任务都是只部署在了单台机器上,为了解决单点的问题,为了保证一个任务,只被一台机器执行,就需要考虑锁的问题,于是就花时间研究了这个问题。到底怎样...

51200
来自专栏JetpropelledSnake

SNMP学习笔记之SNMPWALK 安装与使用详解

snmpwalk是SNMP的一个工具,它使用SNMP的GETNEXT请求查询指定OID(SNMP协议中的对象标识)入口的所有OID树信息,并显示给用户。通过sn...

35910
来自专栏架构师之旅

轻松搭建分布式文件系统

用户在登录之后可以上传文件,也可以看到所有上传的文件(自己或其他用户上传的文件),并可以下载这些文件。

25640
来自专栏一个爱吃西瓜的程序员

Web前端基础【4】--HTTP标准

HTTP协议(超文本传输协议),是用于从www服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效,减少网络传输。 一:HTTP请求过程 HTTP协议...

39470
来自专栏风中追风

一次URL输入域名按下回车到底发生了什么?

1、 浏览器的url输入栏发起一个请求,浏览器首先会看自己缓存中有没有对应的ip地址,如果有的话

36360
来自专栏python学习指南

python爬虫(二)_HTTP的请求和响应

HTTP和HTTPS HTTP(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收HTML页面的方法 HTTPS(Hyp...

479100
来自专栏大数据实战演练

ambari-web/admin 前端二次开发

ambari-web可以单独编译,用来修改ambari UI页面。采用ember.js(版本: v1.0.pre)作为前端MVC框架和NodeJS相关工具,用h...

44110

扫码关注云+社区

领取腾讯云代金券