问在spark-shell中调度spark作业
EN

Stack Overflow用户

提问于 2018-10-26 04:09:44

回答 1查看 77关注 0票数 0

我有一个在spark-shell中运行的spark-scala脚本

spark2-shell -i test.scala

它工作得很好。关于如何安排这个脚本每小时运行一次的任何建议都可能对我有所帮助。

发布于 2018-10-26 04:48:06

实际上，这与spark无关，因为没有内置的机制。

您实际上可以考虑使用下面这样的cron

0 * * * * spark2-shell -i test.scala

或者，您可能还想使用oozie，它有点复杂，但如果您有大量的spark作业要运行，则维护起来要容易得多

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52997340

复制

相似问题

问在spark-shell中调度spark作业EN