记录spark-yarn模式下提交自己写的java程序

因为公司要完成统计任务，每天都有一些任务要在spark上跑，任务定时调度使用的是azkaban3版本，在提交代码的时候要注意一些问题： 首先是如下代码后面不要加setMaster，否则会报错：

在这里插入图片描述

二是如果实行了多线程程序，那么一定要在main线程里面等待全部完成再执行，否则你开启的线程开完你的main线程直接就结束了，我这里使用的是coutdownLatch的方法来保证所有线程任务完成再结束main线程，虽然在java的idea里面执行你不需要写写相关方法，但是提交给spark-yarn必须得考虑。