前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >spark-submit动态提交的办法(SparkLauncher实战)

spark-submit动态提交的办法(SparkLauncher实战)

作者头像
sparkexpert
发布2022-05-07 14:32:26
1K0
发布2022-05-07 14:32:26
举报
文章被收录于专栏:大数据智能实战

spark程序编译完成后,一般都要传送到spark-submit进行调用。

然而为了使程序更加易于集成,需要spark-submit能够动态化

SparkLauncher是spark提供的外部调用的接口。

Package org.apache.spark.launcher Description

Library for launching Spark applications.

This library allows applications to launch Spark programmatically. There's only one entry point to the library - the SparkLauncher class.

从上面的API说明可以看出,支持以编程的方式实现SPARK程序的提交。

于是采用这个API进行实验,果真可以成功。

其中为了将结果获取,还是需要进行一些操作的。目前仅仅是调用PI成功

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016-04-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Package org.apache.spark.launcher Description
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档