首页
学习
活动
专区
工具
TVP
发布
您找到你想要的搜索结果了吗?
是的
没有找到

Driver进程启动

前言 以Standalone 的 cluster 提交方式为例,从源码角度解析 driver 的启动流程 当我们敲下脚本执行 spark submit指令之后,查看脚本可知,会启动一个 org.apache.spark.deploy.SparkSubmit...val mainClass = "org.apache.spark.deploy.worker.DriverWrapper" val classPathConf = "spark.driver.extraClassPath...driverId)) } } 这段代码的几个关键点 val mainClass = "org.apache.spark.deploy.worker.DriverWrapper"指定了我们 driver...ayncSendToMasterAndForwardReply[SubmitDriverResponse]( RequestSubmitDriver(driverDescription)) 这里就是将启动 driver...本文到这里就结束了,后面的事情,网上的博客比较多,我就不乱哔哔了,写本篇文章主要是笔者被人问及driver启动,但是究其根的说清楚的在网上没有很清楚的说法,当然也可能是我们自己没找到,嘿嘿。

87120
领券