Spark RPC 简述

Spark 中的消息通信主要涉及 RpcEnv、RpcEndpoint 及 RpcEndpointRef 几个类,下面进行简单介绍

RpcEnv、RpcEndpoint 及 RpcEndpointRef

RPCEndpoints 定义了如何处理消息(即,使用哪个函数来处理指定消息),在通过 name 完成注册后,RpcEndpoint 就一直存放在 RpcEnv 中。RpcEndpoint 的生命周期按顺序是 onStartreceiveonStopreceive 可以被同时调用,如果希望 receive 是线程安全的,可以使用 ThreadSafeRpcEndpoint

RpcEndpointRef 是 RpcEnv 中的 RpcEndpoint 的引用,是一个序列化的实体以便于通过网络传送或保存以供之后使用。一个 RpcEndpointRef 有一个地址和名字。可以调用 RpcEndpointRefsend 方法发送异步的单向的消息给对应的 RpcEndpoint

RpcEnv 管理各个 RpcEndpoint 并将发送自 RpcEndpointRef 或远程节点的消息分发给对应的 RpcEndpoint。对于 RpcEnv 没有 catch 到的异常,会通过 RpcCallContext.sendFailure 将该异常发回给消息发送者或记日志

RpcEnvFactory

RpcEnvFactory 是构造 RpcEnv 的工厂类,调用其 create(config: RpcEnvConfig): RpcEnv 会 new 一个 RpcEnv 实例并返回。

Spark 中实现了两种 RpcEnvFactory:

  • org.apache.spark.rpc.netty.NettyRpcEnvFactory 使用 netty
  • org.apache.spark.rpc.akka.AkkaRpcEnvFactory 使用 akka

其中在 Spark 2.0 已经没有了 AkkaRpcEnvFactory,仅保留了 NettyRpcEnvFactory。在 Spark 1.6 中可以通过设置 spark.rpc 值为 netty (默认)来使用 NettyRpcEnvFactory 或设置为 akka 来使用 AkkaRpcEnvFactory,例如:

$ ./bin/spark-shell --conf spark.rpc=netty
$ ./bin/spark-shell --conf spark.rpc=akka

RpcAddress 与 RpcEndpointAddress

RpcAddress 是一个 RpcEnv 的逻辑地址,包含 hostname 和端口,RpcAddress 像 Spark URL 一样编码,比如:spark://host:port。RpcEndpointAddress 是向一个 RpcEnv 注册的 RpcEndpoint 的逻辑地址,包含 RpcAddress 及名字,格式如:spark://[name]@[rpcAddress.host]:[rpcAddress.port]

参考


本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spark Task 的执行流程④ - task 结果的处理

    Spark Task 的执行流程③ - 执行 task一文中介绍了 task 是如何执行并返回 task 执行结果的,本文将进一步介绍 task 的结果是怎么处...

    codingforfun
  • [6] - 类和对象之进阶(二)

    Scala 中的可见性非常灵活且复杂,这篇文章希望通过大量的示例来说清楚各种情况下的可见性是怎么样的。

    codingforfun
  • Spark Storage ① - Spark Storage 模块整体架构

    Storage 模块在整个 Spark 中扮演着重要的角色,管理着 Spark Application 在运行过程中产生的各种数据,包括基于磁盘和内存的,比如 ...

    codingforfun
  • 使用WebRTC开发Android Messenger:第2部分

    https://googleprojectzero.blogspot.com/2020/08/exploiting-android-messengers-par...

    LiveVideoStack
  • Hexo next博客添加折叠块功能添加折叠代码块

    前言 有大段的东西想要放上去,但又不想占据大量的位置。折叠是最好的选择。下面在Hexo的主题上定制添加折叠功能。 本文基于Hexo Next的主题修改。其他主题...

    Ryan-Miao
  • PHP中的深拷贝与浅拷贝

    拷贝是由英文copy的音译词,拼音是kǎo bèi。copy意为复制、摹本。拷贝有四种解释:一指一个计算机系统的DOS命令,意为“复制”,是一个新名词,广泛地应...

    A梦多啦A
  • 第二讲:go-ethereum - 命令到rpc

    命令1: personal.newAccount(password) - 新建账户

    _simple
  • 如何将HTML字符转换为DOM节点并动态添加到文档中

    将字符串动态转换为DOM节点,在开发中经常遇到,尤其在模板引擎中更是不可或缺的技术。 字符串转换为DOM节点本身并不难,本篇文章主要涉及两个主题:<br />

    用户1631416
  • DOM

    天天_哥
  • leetcode-438-Find All Anagrams in a String

    chenjx85

扫码关注云+社区

领取腾讯云代金券