问Apache Zeppelin可以在一段时间后自动关闭SparkContext并重新打开它吗？

EN

您可以使用Mesos而不是Yarn。Spark允许您在粗粒度模式下设置它从Mesos请求的内核数量。为此，请设置以下选项：

spark.mesos.coarse=true 
spark.cores.max={The number of cores you wish to allocate}

您可以通过Zeppelin中的解释器窗口设置这些设置。

请注意，在粗粒度模式下，Zeppelin将持续占用这些核心-即使它实际上没有做任何工作。

实际上我最后选择了YARN，因为我发现在下面使用Hadoop堆栈有一些额外的好处：

• 我可以使用HDFS作为要导入到Cassandra中的数据的源，这样我就不必担心是否可以访问Spark
• 中的源文件。我可以编写自定义的InputFormat来读取数据，使用Spark进行预处理，并将结果溢出到Cassandra

我认为在集群上做预处理应该比在客户机上更快。