Hadoop之RPC机制

什么是RPC机制

Remote Procedure Call(简称:RPC):远程过程调用协议。

RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易

RPC的运行模式

RPC采用客户机/服务器模式。

请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。

RPC的简单实现

客户端和服务端通信必须要按照某种协议来执行,要不就乱套了。那么我们来定一个RPC协议的接口,里面包含协议的版本号,及RPC方法名。

package com.itunic.rpc;

/**
 * RPC协议定义接口
 * @author itunic
 *
 */
public interface RPCProtocal {
 /**
     * 定义RPC协议版本号
     */
 public static final long versionID = 1111;

 /**
     * 根据id获取名字
     * @param id
     * @return
     */
 public String getName(String id);

}

定义完成后,实现RPC服务端,服务端必须实现上面RPC接口。然后在启动服务时将服务绑定到某个ip下的某个端口。这样才能正常的进行服务。

package com.itunic.rpc;

import java.io.IOException;

import org.apache.hadoop.HadoopIllegalArgumentException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;

/**
 * RPC服务端的简单实现
 * @author itunic
 *
 */
public class RPCService implements RPCProtocal {

 @Override
 public String getName(String id) {
        System.out.println("查找");
 return id + "的Name";
    }

 /**
     * 设置RPC协议接口,将服务绑定到192.168.31.104:9999
     * @param args
     * @throws HadoopIllegalArgumentException
     * @throws IOException
     */
 public static void main(String[] args) throws HadoopIllegalArgumentException, IOException {
        Server server = new RPC.Builder(new Configuration()).setInstance(new RPCService())
                .setProtocol(RPCProtocal.class).setBindAddress("192.168.31.104").setPort(9999).build();
        server.start();
    }

}

这样的话服务端就实现完毕了。我们运行一下,看看结果

可以看到服务端已经正常运行了。接下来我们实现RPC客户端的代码。

package com.itunic.rpc;

import java.io.IOException;
import java.net.InetSocketAddress;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

/**
 * RPC客户端简单实现
 * @author itunic
 *
 */
public class RPCClient {
 public static void main(String[] args) throws IOException {
 /**
         * 绑定RPC协议接口,输入RPC协议版本号,绑定服务端地址和端口
         * 绑定完成后,调用接口的getName方法。
         */
        RPCProtocal proxy = RPC.getProxy(RPCProtocal.class, 1111, new InetSocketAddress("192.168.31.104", 9999),
 new Configuration());
        String name= proxy.getName("itunic");
        System.out.println(name);
        RPC.stopProxy(proxy);
    }

}

接下来我们看一下运行效果:

首先是服务端已经出发了getName方法,并已经输出到控制台。

其次是客户端已经输出。

结语

讲到这里RPC基本上介绍完毕,在了解完RPC后,就能基本理解Hadoop具体是怎么运行的了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏蓝天

HBase的FlushLargeStoresPolicy多例族支持

众所周知,HBase的一个例族flush时,会导致所有例族都跟着被flush。在HBase-0.94的官方说明(http://hbase.apache.or...

651
来自专栏程序员阿凯

一条大河波浪宽 -- 数据库连接池实现

1064
来自专栏lgp20151222

idea+jsp+jstl c标签页面异常

把这两个包分别加到项目依赖库,生成的tomcat的war文件(即WEB-INF文件)的lib目录下,还有tomcat自己的lib

1012
来自专栏Django Scrapy

Django安装及简单使用1.1

Django安装及简单使用 1.1 Django的简要概述 Django采用了MVC的软件设计模式,即模型M,视图V和控制器C。 代码都在github: U...

30311
来自专栏有趣的django

11.python线程

基本概念 1.进程 定义:  进程就是一个程序在一个数据集上的一次动态执行过程。 组成:  进程一般由程序、数据集、进程控制块三部分组成。 程序:  我...

3265
来自专栏专栏

跨环境测试框架介绍-pytest的高级用法

本文将介绍针对测试和生产等不同测试环境下,维护一套可读性,追溯性强的测试用例的工具-pytest。

1864
来自专栏mathor

第1章 必须掌握的Linux命令

 命令对象一般是指要处理的文件、目录、用户等资源,而命令参数可以用长格式(完整的选项名称),也可以用短格式(单个字母的缩写),两者分别用--与-作为前缀(示例请...

981
来自专栏Java架构师进阶

java多线程高级教程,这些你都懂了吗?

一、countdownLatch和cyclicbarrier(这两个做多线程控制很好用,工作中会经常用到)

854
来自专栏Golang语言社区

Go web之旅(路由篇)

据说Go语言设计出来就是为了解决web软件的并发等诸多问题的,所以Go语言又被称为互联网中的c语言。一般的web应用采用的是"请求-响应"模式。在Go web中...

3459
来自专栏osc同步分享

How Tomcat Works, A Guide to Developing Your Own Java Servlet Container

1.1 socket网络通信基础 客户端使用主机地址和端口实例化一个socket,此socket通过输出流将字符串等传向服务器主机。 服务器使用端口号实例化一个...

2826

扫码关注云+社区