首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

大数据技术之_19_Spark学习_06_Spark 源码解析小结

1、spark 一开始使用 akka 作为网络通信框架,spark 2.X 版本以后完全抛弃 akka,而使用 netty 作为新的网络通信框架。 最主要原因:spark 对 akka 没有维护,需要 akka 更新,spark 的发展受到了 akka 的牵制,akka 版本之间无法通信,即 akka 兼容性问题。 2、RpcEnv:RPC 上下文环境,每个 Rpc 端点运行时依赖的上下文环境称之为 RpcEnv。类似于 SparkContext,默认由 NettyRpcEnv 实现,由 NettyRpcEnvFactory 创建 RpcEnv。 3、RpcEndpoint:RPC 端点,Spark 针对于每个节点(Client/Master/Worker)都称之一个 Rpc 端点且都实现 RpcEndpoint 接口,内部根据不同端点的需求,设计不同的消息和不同的业务处理,如果需要发送(询问)则调用 Dispatcher。代理是 RpcEndpointRef。 4、Dispatcher:消息分发器,针对于 RPC 端点需要发送消息或者从远程 RPC 接收到的消息,分发至对应的指令收件箱/发件箱。 5、Inbox:指令消息收件箱,一个本地端点对应一个收件箱,Dispatcher 在每次向 Inbox 存入消息时,都将对应 EndpointData 加入内部待 Receiver Queue 中。 6、OutBox:指令消息发件箱,一个远程端点对应一个发件箱,当消息放入 Outbox 后,紧接着将消息通过 TransportClient 发送出去。 7、TransportClient:Netty 通信客户端,主要负责将相对应的 OutBox 中的数据发送给远程 TransportServer。 8、TransportServer:Netty 通信服务端,主要用于接收远程 RpcEndpoint 发送过来的消息,并把消息传送给 Dispatcher。

03

云服务应用: 架构师还不知道的秘密

自从云计算问世以来,它的主要重点一直就是把应用程序迁往云计算。在这个目标中所隐含的意思就是,在云计算和数据中心之间其实并不存在着什么功能性方面的差异;要说有差异,那也只是成本上的差异。现在,我们知道事实并非如此;对于供应商来说,云计算收入的最大来源来自于专为技术而开发的基于云计算的应用程序,因此架构师需要真正认识到这到底意味着什么。认识应当从评估云计算业务趋势对云计算服务模式的影响开始,并以可视化的方式显示云计算功能将如何支持新的应用程序。接下来的步骤就是学习如何针对云计算的特点进行应用程序开发,以及将应用

09

云应用:架构师不知道的秘密

自从云计算问世以来,它的主要重点一直就是把应用程序迁往云计算。在这个目标中所隐含的意思就是,在云计算和数据中心之间其实并不存在着什么功能性方面的差异;要说有差异,那也只是成本上的差异。现在,我们知道事实并非如此;对于供应商来说,云计算收入的最大来源来自于专为技术而开发的基于云计算的应用程序,因此架构师需要真正认识到这到底意味着什么。认识应当从评估云计算业务趋势对云计算服务模式的影响开始,并以可视化的方式显示云计算功能将如何支持新的应用程序。接下来的步骤就是学习如何针对云计算的特点进行应用程序开发,以及将应用

07
领券