腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据成神之路

专注大数据领域的一切技术~

专栏作者

635

文章

1277118

阅读量

315

订阅数

阅读源码｜Spark 与 Flink 的 RPC 实现

scala flink 大数据 rpc

近日常有同学来问我如何阅读代码，关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量，正好此前综合地阅读 Spark 的 RPC 实现、Flink 基于 Akka 的 RPC 实现和 Actor Model 的通信模型，写成本文分享我阅读分布式计算系统 Spark 和 Flink 中的 RPC 实现的过程和思考。

王知无-import_bigdata

2020-04-15

1.2K0

Kafka源码阅读最最最简单的入门方法

从上面代码中可以看出，拉取的offset是从offsetsCache中获取。而在提交offset以及初始化group是会将对应的offset信息加入到该缓存中。

王知无-import_bigdata

2019-12-26

7760

科学使用HBase Connection

hbase TDSQL MySQL 版编程算法 rpc

这个问题的答案简单而不简单：HBase客户端是不需要维护连接池的，或者说，Connection对象已经帮我们做好了。但是，对Connection使用不当是HBase新手（包括很久很久之前的我自己）最容易犯的错误之一，常见错误用法有：

王知无-import_bigdata

2019-09-08

1.4K0

Spark Core源码精读计划7 | Spark执行环境的初始化

rpc 文件存储 spark

《Spark Core源码精读计划3 | SparkContext辅助属性及后初始化》

王知无-import_bigdata

2019-08-06

7690

你有必要了解一下Flink底层RPC使用的框架和原理

对于Flink中各个组件（JobMaster、TaskManager、Dispatcher等），其底层RPC框架基于Akka实现，本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。

王知无-import_bigdata

2019-07-09

2.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态