首页
学习
活动
专区
工具
TVP
发布

行者悟空

专栏作者
51
文章
79151
阅读量
22
订阅数
Hadoop之RPC机制
什么是RPC机制 Remote Procedure Call(简称:RPC):远程过程调用协议。 RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易 RPC的运行模式 RPC采用客户机/服务器模式。 请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数
天策
2018-06-22
4490
Hadoop之HDFS源码分析
HDFS的读取数据过程 初始化FileSystem,然后客户端(client)用FileSystem的open()函数打开文件 FileSystem用RPC调用元数据节点,得到文件的数据块信息,对于每一个数据块,元数据节点返回保存数据块的数据节点的地址。 FileSystem返回FSDataInputStream给客户端,用来读取数据,客户端调用stream的read()函数开始读取数据。 DFSInputStream连接保存此文件第一个数据块的最近的数据节点,data从数据节点读到客户端(client
天策
2018-06-22
5740
Akka之简单的自定义RPC框架(乞丐版)
关于Akka Akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。它已经成功运用在电信行业。系统几乎不会宕机(高可用性 99.9999999 % 一年只有 31 ms 宕机)。 自定义RPC通信框架(乞丐版) 目标 woker能发送成功注册,并定时发送心跳。 master能成功接收注册,并能接收心跳及完成自检。 大体思路 1、提供一个Master,负责woker的任务分配,注册及销毁。 2、提供一个Woker,负责Master分配
天策
2018-06-22
1.1K0
利用动态代理&反射&socket实现简单的RPC通信
摘 要 利用动态代理&反射&socket实现简单的RPC通信 概述 RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC跨越了传输层和应用层,RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 现在RPC通信在内部分布式集群环境中已经很常见了。现在的开源的分布式框架已经提供了相应的实现,但仅停留在用的层面是远远不够的,这不符合一只码畜的追求。所以为了弄清RPC到底是个啥玩意,就
天策
2018-06-22
8280
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档