问在纱线中启动/停止火花流作业的正确方法是什么？

EN

1. 您可以关闭spark-submit控制台。当写入运行状态时，作业已经在后台运行。
2. 在应用程序完成之后，日志是可见的。在运行时，所有日志都可以在本地的工人节点上直接访问(您可以在纱线资源管理器web上看到)，并在作业完成后聚合到HDFS 。
3. yarn application -kill可能是阻止火花流应用程序的最好方法，但它并不完美。最好是做一些优雅的关闭，以停止所有流接收器和停止流上下文，但我个人不知道如何做。

1. 您的数据源是什么？如果它是可靠的，就像卡夫卡的直接接收器，纱线切断应该是罚款的。当应用程序重新启动时，它将从最后一个完整的批处理偏移量中读取。如果数据源不可靠，或者您想自己处理一个优雅的关闭，则必须在流上下文上实现某种外部挂钩。我也面临着同样的问题，最后我实现了一个小问题，在webui中添加一个新的选项卡，充当停止按钮。

最后一个谜题元素是如何以优雅的方式阻止部署在纱线上的星火流应用程序。停止(或者更确切地说是杀死)纱线应用程序的标准方法是使用命令yarn application -kill [applicationId]。这个命令停止了Spark流应用程序，但是这可能发生在批处理的中间。因此，如果作业从Kafka读取数据，保存HDFS上的处理结果，并最终提交Kafka偏移量，那么当作业在提交偏移之前停止时，您应该期望HDFS上重复的数据。

第一次尝试解决优雅的关闭问题是调用关闭钩子中的停止方法。

sys.addShutdownHook {
    streamingContext.stop(stopSparkContext = true, stopGracefully = true)
}

令人失望的是，关闭钩子被调用得太晚，无法完成已启动的批处理，而火花应用程序几乎立即被关闭。此外，JVM无法保证会调用关机钩子。

在撰写这篇博文时，唯一确认的方式是在纱线上优雅地关闭星火流应用程序，就是以某种方式通知应用程序计划关闭，然后以编程方式停止流上下文(但不是从停工钩子)。如果通知的应用程序在定义超时后没有停止，则只应将命令yarn application -kill作为最后手段使用。

可以使用HDFS上的标记文件(最简单的方法)或在驱动程序上公开的简单套接字/HTTP端点(复杂的方式)通知应用程序计划关闭。

由于我喜欢KISS原则，下面可以找到shell脚本伪代码，用于使用标记文件启动/停止星火流应用程序：

start() {
    hdfs dfs -touchz /path/to/marker/my_job_unique_name
    spark-submit ...
}

stop() {
    hdfs dfs -rm /path/to/marker/my_job_unique_name
    force_kill=true
    application_id=$(yarn application -list | grep -oe "application_[0-9]*_[0-9]*"`)
    for i in `seq 1 10`; do
        application_status=$(yarn application -status ${application_id} | grep "State : \(RUNNING\|ACCEPTED\)")
        if [ -n "$application_status" ]; then
            sleep 60s
        else
            force_kill=false
            break
        fi
    done
    $force_kill && yarn application -kill ${application_id}
}

在星火流应用程序中，后台线程应该监视标记文件，当文件消失时，停止上下文调用

streamingContext.stop(stopSparkContext = true, stopGracefully = true)

您还可以参考http://blog.parseconsulting.com/2017/02/how-to-shutdown-spark-streaming-job.html