spark源码单步跟踪阅读-从毛片说起

想当年读大学时,那时毛片还叫毛片,现在有文明的叫法了,叫小电影或者爱情动作片。那时宿舍有位大神,喜欢看各种毛片,当我们纠结于毛片上的马赛克时,大神大手一挥说道:这算啥,阅尽天下毛片,心中自然无码!突然想到我们在学习spark时,也可以有这种精神,当我们能读懂spark源码时,spark的技术世界也就真正为我们敞开了大门。台湾C++大师侯捷说过:源码面前,了无秘密!那我们就从如何单步调试spark源码开始讲起吧。

首先开发工具推荐大家选择IntelliJ,Intellij在和scala语言的结合上,比eclipse要好出太多了,其高效的文件索引机制,也可以让我们非常快速的定位源码。不要太担心快捷键的问题,IntelliJ为了拉eclipse的用户过来,可以将快捷键映射为eclipse常用快捷键,学习成本低了很多。

1.本地调试

  • app代码

package com.tencent.cubeli.sparksql

import org.apache.spark.{SparkConf, SparkContext}

import org.apache.spark.sql.SparkSession

object DataFrameCreate {

def main(args: Array[String]): Unit = {

val conf = new SparkConf().setMaster("local").setAppName("df create")

val sc = new SparkContext(conf)

val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").getOrCreate()

import spark.implicits._

val df = spark.read.json("file:///Users/waixingren/bigdata-java/spark/sparkproj/data/nation.json")

df.filter($"nationkey"<9).

groupBy("regionkey").

count.

show()

}

}

  • 在app中设置断点,如下图所示:
  • 调试,点下图的虫子标志

在提交了运行之后,程序会在断点处停止,等待单步调试,如下图所示:

点击step in,我们就可以进入到这个filter方法内部进行源码的跟踪了。

2.远程调试

当我们的代码提交到yarn上之后,就是一个分布式运行的模式了,这时就没法通过IDE去启动本地的单步调试,这时就需要使用远程调试方式。这种方式eclipse也有,并不是ideallij独有的,而是java语言为我们提供的,IDE工具只不过利用了这个特性而已。远程调试步骤如下:

  • 源码下载

我们后期在知识星球上陆陆续续的源码讲解,都是基于Spark 2.3.0这个版本,下载地址:

http://spark.apache.org/downloads.html

在下拉框选择2.3.0和Source Code

  • 源码编译 源码编译的主要目的是为了方便我们后期对spark的二次开发,如果没有二次开发的需求,知识想单步调试spark源码,那么这一步也是可以省略的。 对源码包进行解压,进入源码包根目录,编译命令:
  • 把这个编译 后的工程导入到intellij,步骤如下

一路点击next,可以根据实际情况进行修改,不修改也可以,最后点完成,执行spark源码导入,idealilij会进行该工程的依赖解析,等解析完成后就可以在package试图看到该工程的包试图,说明导入成功。

(导入后intellij要进行工程的依赖解析,但是因为我们之前进行过编译,需要的依赖包已经从远程maven仓库下载到了本地,所以这里的依赖接下没有下载过程,只是一个简单的的本地解析)

  • 配置远程调试

点击Edit Configurations...

点击“+”,选择remote

配置jvm远程调试选项,主要是host和port需要修改成spark进程所在的host和jmx端口号,如下图,可以修改“Name:”,“Host”,“Port”,这里的host一定要是spark运行的主机,port需要是远程没有被使用的端口,并且要记住此端口,待会要用。

配置完之后保存。

在spark-defaults.conf文件中添加以下配置:

spark.driver.extraJavaOptions -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005

spark.executor.extraJavaOptions -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005

关于这个配置的两点说明:

1) 其中的spark.driver.extraJavaOptions是用来调试driver的,spark.executor.extraJavaOptions是用来调试executor的,如果driver和executor不在同一个节点,那么端口可以相同,如果在同一个节点,那么端口不能一样。

2) 如果suspend=y,说明spark进程在启动时会挂起来,等待ideallij远程连接成功之后在继续启动;如果是n,那么不用等待ideallij远程连接,就启动,但是会一直监听这个端口,等待ideallij远程连接。

  • 远程连接并调试

等spark进程挂起或者启动成功之后(根据suspend是y或者n来决定),在ideallij中设置断点,并启动刚才配置的远程连接,就可以连接到spark的jvm进程上,并进行远程的单步调试了 。

总结:spark的学习一定要涉及源码的阅读,光学会使用api是写不好spark程序,要无法进行spark性能调优的。当你的断点停止在spark的api方法时,step in了,就有一个全新的技术世界为了敞开大门;step over了,你就一直是个码农。更多spark经验分享,请加入spark技术学院,bat大牛为你指点迷津!

原文发布于微信公众号 - Spark学习技巧(bigdatatip)

原文发表时间:2018-05-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏信安之路

打造属于自己的渗透神器 第二篇

今天我又给大家带来了新的一篇打造一个属于自己的渗透神器,之前在浏览视频的时候看到一部视频就是讲这个的今天我们就一起试一下。

800
来自专栏软件

轻松十余步,测试不再愁!

“测试不息,Coding不止”,对于每天需要跟茫茫代码、万千算法打交道的测试人员来说,测试起来真心不容易!比如, 一个不留神就可能放走一个bug; 一个慢动作就...

2189
来自专栏SDNLAB

SDNLAB技术分享(五):浅谈Open vSwitch移植

好了我们开始今天的主题吧!! 前一段时间自己私下一直学习Open vSwitch。起初学习Open vSwitch的目的,只是为了更好的学习OpenFlow协议...

34815
来自专栏phodal

我的密码之旅:从统一密码,到云同步的随机密码器

1474
来自专栏技术点滴

git使用小结

git使用小结 很多人可能和我一样,起初对git是一无所知的。我也是因为一次偶然的机会接触到git,并被它强大的功能所蛰伏。git其实就是一种版本控制工具,就像...

1728
来自专栏SDNLAB

SDNLAB技术分享(五):浅谈Open vSwitch移植

前一段时间自己私下一直学习Open vSwitch。起初学习Open vSwitch的目的,只是为了更好的学习OpenFlow协议,然而当我看到Open vSw...

3569
来自专栏生信宝典

免费Linux系统和生信宝典原创学习教程

生物信息的学习离不开Linux系统,不管自己写命令处理数据,还是使用现有的工具。Linux对我们来讲最重要的是它强大的命令行功能,可以快速、批量、灵活的处理数据...

833
来自专栏移动开发之家

IJKPlayer编译so支持HTTPS的踩坑历程

同志,github来过没?右转不屑 ----> https://github.com/CarGuo

1033
来自专栏Samego开发资源

你的网站HTTPS了吗 | Let’s Encrypt

2704
来自专栏PaddlePaddle

如何贡献代码

如何贡献代码 我们真诚地感谢您的贡献,欢迎通过 GitHub 的 fork 和 pull request 流程来提交代码。 【代码要求】 1、代码注释请遵守 D...

2898

扫码关注云+社区