首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

你有必要了解一下Flink底层RPC使用的框架和原理

Akka介绍 由于Flink底层Rpc是基于Akka实现,我们先了解下Akka的基本使用。 Akka是一个开发并发、容错和可伸缩应用的框架。...as = system.actorSelection("/path/to/actor"); Timeout timeout = new Timeout(Duration.create(2, "seconds...2.3.2. ask方式 当我们需要从Actor获取响应结果时,可使用ask方法,ask方法会将返回结果包装在scala.concurrent.Future中,然后通过异步回调获取返回结果。...= null) { System.out.println("failure is " + failure); } else { System.out.println...; 经过上述步骤就完成Rpc(本地/远程)调用,可以看到底层也是通过Akka提供的tell/ask方法进行通信;经过上述步骤就完成Rpc(本地/远程)调用,可以看到底层也是通过Akka提供的tell/ask

2.2K30

Akka-Cluster(5)- load-balancing with backoff-supervised stateless computation - 无状态任务集群节点均衡分配

分布式程序运算是一种水平扩展(scale-out)运算模式,其核心思想是能够充分利用服务器集群中每个服务器节点的计算资源,包括:CPU、内存、硬盘、IO总线等。...akka提供了一种基于节点运算资源负载的算法,在配置文件中定义: akka.extensions = [ "akka.cluster.metrics.ClusterMetricsExtension" ]...具体情况请参考下面测试程序的输出: package my.akka import akka.actor....{Backoff, BackoffSupervisor, ask} import scala.concurrent.Await import scala.concurrent.duration._...返回当前子级Actor var innerChild: Option[ActorRef] = None //返回的当前子级ActorRef val selectedChild = context.actorSelection

1.4K20

大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存

到了 Spark 1.6,Spark 可以配置使用 Akka 或者 Netty 了,这意味着 Netty 可以完全替代 Akka了。...官方的解释是:   •1)很多 Spark 用户也使用 Akka,但是由于 Akka 不同版本之间无法互相通信,这就要求用户必须使用跟 Spark 完全一样的 Akka 版本,导致用户无法升级 Akka...•2)Spark 的 Akka 配置是针对 Spark 自身来调优的,可能跟用户自己代码中的 Akka 配置冲突。   •3)Spark 用的 Akka 特性很少,这部分特性很容易自己实现。...2.3 Endpoint Send&Ask 流程 Endpoint 的消息发送与请求流程,如下: ?...然后为 merge 过程创建一个叫 file.out 的文件和一个叫 file.out.Index 的文件用来存储最终的输出和索引。

1.3K31

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券