spark-submit:我能告诉spark不要每次都重新上传jars吗？

在Spark中，可以通过使用--jars选项来告诉Spark不要每次都重新上传JAR文件。spark-submit是用于提交Spark应用程序的命令行工具。

--jars选项允许您指定一个包含依赖JAR文件的逗号分隔列表。当您提交Spark应用程序时，Spark将自动将这些JAR文件分发到集群的每个节点上，以供应用程序使用。

以下是使用--jars选项的示例命令：

spark-submit --class com.example.MyApp --master yarn --deploy-mode cluster --jars /path/to/dependency1.jar,/path/to/dependency2.jar /path/to/myapp.jar

在上面的命令中，--jars选项后面跟着依赖JAR文件的路径列表。您可以将多个JAR文件用逗号分隔开。这些JAR文件将被分发到集群的每个节点上，并在应用程序中可用。

通过使用--jars选项，您可以避免每次都重新上传JAR文件，从而提高应用程序的提交速度和效率。

腾讯云相关产品和产品介绍链接地址：

• 腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
• 腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
• 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
• 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos