腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

行者悟空

专栏作者

51

文章

78975

阅读量

22

订阅数

Akka之简单的自定义RPC框架（乞丐版）

关于Akka Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。它已经成功运用在电信行业。系统几乎不会宕机（高可用性 99.9999999 % 一年只有 31 ms 宕机）。自定义RPC通信框架（乞丐版）目标 woker能发送成功注册，并定时发送心跳。 master能成功接收注册，并能接收心跳及完成自检。大体思路 1、提供一个Master，负责woker的任务分配，注册及销毁。 2、提供一个Woker，负责Master分配

2018-06-22

1.1K0

基于Scala Acotor实现多线程单词统计（WordCount）

摘要基于Scala Acotor实现多线程单词统计（WordCount） package com.itunic.scala import scala.io.Source import scala.actors.{Actor, Future} import scala.collection.mutable /** * Created by itunic.com on 2016/12/9. */ class WordCountActor extends Actor { override d

2018-06-22

5990

Scala基础语法

摘要本文将详细介绍Scala的基础语法。 Scala的变量声明 package com.itunic.scala /** * Created by ITUNIC on 2016/11/6. */ object VariableDemo { def main(args: Array[String]) { //使用val定义的变量值是不可变的，相当于java里用final修饰的变量 val i = 1 //使用var定义的变量是可变得，在Scala中鼓励使用val var

2018-06-22

6080

Scala概述及环境安装

scala 面向对象编程 java

摘要 Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。 Scala概述什么是Scala Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。为什么要学Scala 优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。速度快：Scala语言表达能力强，一行代码抵得上Java多行，开发速度快；Scal

2018-06-22

4340

Spark的共享变量

spark 缓存 scala

Spark程序的大部分操作都是RDD操作，通过传入函数给RDD操作函数来计算。这些函数在不同的节点上并发执行，内部的变量有不同的作用域，不能相互访问，有些情况下不太方便，所以Spark提供了两类共享变量供编程使用——广播变量和计数器。 1. 广播变量这是一个只读对象，在所有节点上都有一份缓存，创建方法是SparkContext.broadcast()，比如： scala> val broadcastVar = sc.broadcast(Array(1, 2, 3)) broadcastVar: org.a

2018-06-22

6100

Spark DAG调度

SparkContext在初始化时，创建了DAG调度与Task调度来负责RDD Action操作的调度执行。 DAGScheduler DAGScheduler负责Spark的最高级别的任务调度，调度的粒度是Stage，它为每个Job的所有Stage计算一个有向无环图，控制它们的并发，并找到一个最佳路径来执行它们。具体的执行过程是将Stage下的Task集提交给TaskScheduler对象，由它来提交到集群上去申请资源并最终完成执行。 DAGScheduler的定义位于scheduler/DAGSched

2018-06-22

7870

SparkContext初始化过程

SparkContext在构造的过程中，已经完成了各项服务的启动。因为Scala语法的特点，所有构造函数都会调用默认的构造函数，而默认构造函数的代码直接在类定义中。除了初始化各类配置、日志之外，最重要的初始化操作之一是启动Task调度器和DAG调度器，相关代码如下： // 创建并启动Task调度器 val (sched, ts) = SparkContext.createTaskScheduler(this, master) _schedulerBackend = sched _taskScheduler

2018-06-22

6530

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态