如何退出spark程序
如何退出spark程序
提问于 2018-06-06 01:55:46
例如，如果-my连接条件失败，我如何从Spark程序退出(通过强制显示错误信息)？
示例：
员工数据- emp_id、dep_no
1,1001 2,2001
部门数据- dep_no、dept_name、位置
邮编: 1001，xyz，NY 3001，pqr，PA
现在，如果我想要丰富员工数据，我需要与部门数据进行连接。我想要的是，每当我在部门数据中找不到部门时(我的连接将失败)，我想在Spark (Scala)中使用自定义的错误消息来停止进程(error out)。
谢谢，希德
回答 1
Stack Overflow用户
发布于 2018-06-06 04:26:19
根据您的用例，您可能希望使用以下SparkContext方法之一：
def cancelJob(jobId: Int, reason: String): Unit
def cancelJobGroup(groupId: String)
def cancelAllJobs()一些有用的调用：
def applicationId: String // to get current jobId
def setJobGroup(groupId: String, description: String, interruptOnCancel: Boolean = false) // to set groupId for all Spark jobs to be created by the current thread 页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50706221
复制相关文章
相似问题
腾讯云开发者
