腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据-数据人生

专栏作者

75

文章

124179

阅读量

15

订阅数

Executor源码分析

spark 大数据

Executor源码的最主要代码是TaskRunner，TaskRunner是一个多线程，首先看其runner方法：

2020-05-06

3820

TaskScheduler源码解读

大数据 spark

这里调用了taskScheduler接口，我们打开TaskScheduler trait，trait在scala里就是接口，在IDEA中查看实现的类，使用快捷键：ctrl+H，或者直接使用快捷键：ctrl + alt +B查看实现

2020-05-04

4630

DAGScheduler源码解读2-task创建

大数据 spark

在上一篇文章中，我们分析了DAGScheduler的代码，重点了解了stage的创建和划分，是重中之重。这篇文章重点分析下task的创建：

2020-05-04

4410

SparkContext源码解读

大数据 spark

TaskSceduler在具体创建的时候，是由不同发布模式比如standalone、yarn、mesos决定的，返回一个SchedulerBackend.

2020-04-08

8010

Spark DAGScheduler源码解读2-task创建

大数据 spark java

在上一篇文章中，我们分析了DAGScheduler的代码，重点了解了stage的创建和划分，是重中之重。这篇文章重点分析下task的创建：

2020-04-01

3280

Spark DAGScheduler源码解读1-stage划分

大数据 spark java

这里创建一个stage，并且将stage放入scheduler的HashMap中进行管理：

2020-03-31

4360

Spark提交任务入口源码分析

大数据 spark java

我们平常在使用Spark进行提交代码的时候，一般是直接在装有spark客户端的机器上提交jar包执行。运行命令如下：

2020-03-30

6590

Spark算子：map和flatMap区别

spark 大数据

flatMap=map + flatten 例1： scala> val test=List("hello java","hello python","hello hadoop") test: List[String] = List(hello java, hello python, hello hadoop) map输出结果： scala> test.map(line=>line).foreach(x=>println(x)) hello java hello python hello hadoop fl

2020-03-28

1.6K0

IDEA正确打开源码姿势

java spark 大数据

以前习惯用eclipse查看源码，最近在使用IDEA，IDEA查看源码相对简单很多。

2020-03-28

5.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态