例如,如果-my连接条件失败,我如何从Spark程序退出(通过强制显示错误信息)?
示例:
员工数据- emp_id、dep_no
1,1001 2,2001
部门数据- dep_no、dept_name、位置
邮编: 1001,xyz,NY 3001,pqr,PA
现在,如果我想要丰富员工数据,我需要与部门数据进行连接。我想要的是,每当我在部门数据中找不到部门时(我的连接将失败),我想在Spark (Scala)中使用自定义的错误消息来停止进程(error out)。
谢谢,希德
https://stackoverflow.com/questions/50706221
复制相似问题