当jar在HDFS中时，Spark作业不运行

当jar文件存储在HDFS（Hadoop分布式文件系统）中时，Spark作业可能无法运行的原因有以下几点：

1. HDFS权限问题：确保Spark作业有足够的权限访问HDFS中的jar文件。可以通过设置适当的HDFS权限或者使用Hadoop的用户身份验证来解决此问题。
2. HDFS文件路径问题：确保Spark作业能够正确地找到存储在HDFS中的jar文件。可以使用完整的HDFS文件路径或者相对路径来指定jar文件的位置。
3. HDFS文件损坏或丢失：如果存储在HDFS中的jar文件损坏或丢失，Spark作业将无法找到所需的依赖项。在提交Spark作业之前，确保jar文件已正确上传到HDFS，并且没有被意外删除或损坏。
4. Spark配置问题：检查Spark配置文件中的相关参数，确保正确配置了HDFS的访问权限和路径。例如，可以通过设置spark.yarn.jars参数来指定HDFS中的jar文件路径。
5. 网络通信问题：如果HDFS集群与Spark集群之间存在网络通信问题，可能导致Spark作业无法访问HDFS中的jar文件。确保网络连接正常，并且HDFS集群和Spark集群之间可以相互通信。

总结起来，当jar文件存储在HDFS中时，确保Spark作业具有适当的权限、正确的文件路径、完整的文件以及正确的配置，同时确保网络通信正常，即可解决Spark作业不运行的问题。

腾讯云相关产品和产品介绍链接地址：

• HDFS：腾讯云提供了分布式文件存储服务Tencent Cloud Object Storage（COS），可以用作HDFS的替代方案。了解更多信息，请访问：腾讯云对象存储（COS）
• Spark：腾讯云提供了弹性MapReduce计算服务Tencent Cloud Elastic MapReduce（EMR），支持Spark作业的运行。了解更多信息，请访问：腾讯云弹性MapReduce（EMR）