星星之火。错误:找不到或加载主类org.apache.spark.launcher.Main
更新1:在从Spark installation - Error: Could not find or load main class org.apache.spark.launcher.Main中添加缺失的片段和env变量后，命令不再抛出错误，而是打印自身，并且不执行任何其他操作。这是运行命令的新结果：
"C:\Program Files\Java\jdk1.8.0_271\bin\java" -cp "C:\Users\xxx\repos\spark/conf\;C:\Users\xxx\repos\spark\assembly\target\scala-2.12\jars\*" org.apache.spark.deploy.SparkSubmit --master k8s://http://127.0.0.1:8001 --deploy-mode cluster --conf "spark.kubernetes.container.image=xxx.azurecr.io/spark:spark2.4.5_scala2.12.12" --conf "spark.kubernetes.authenticate.driver.serviceAccountName=spark" --conf "spark.executor.instances=3" --class com.xxx.bigdata.xxx.XMain --name xxx_app https://storage.blob.core.windows.net/jars/xxx.jar我一直遵循这个指南建立星火在AKS：https://learn.microsoft.com/en-us/azure/aks/spark-job。我在Scala2.12.12中使用Spark标记2.4.5。我已经完成了以下所有步骤：
storage
- proxied
- 使用ACR和Azure存储创建了AKS，服务帐户和角色
- 构建了火花源
- 构建了码头映像，并将其推送到ACR
- 构建了示例SparkPi jar，并将其推到 api-server (kubectl代理)并执行了spark-submit:。
./bin/spark-submit \
--master k8s://http://127.0.0.1:8001 \
--deploy-mode cluster \
--name xxx_app\
--class com.xxx.bigdata.xxx.XMain\
--conf spark.executor.instances=3 \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.kubernetes.container.image=xxx.azurecr.io/spark:spark2.4.5_scala2.12.12 \
"https://storage.blob.core.windows.net/jars/xxx.jar"我得到的只有Error: Could not find or load main class org.apache.spark.launcher.Main
有趣的是，我在命令中更改了什么，这一点都不重要。我可以搞乱ACR地址，星火图像名称，jar位置，api-服务器地址，任何东西，我仍然会得到相同的错误。
我想我一定是犯了一些愚蠢的错误，因为似乎没有什么比现在更能破坏这个命令了，但我真的不能把它搞清楚。有人有什么想法吗?可能出了什么问题？
回答 2
Stack Overflow用户
发布于 2020-11-23 11:55:42
好的，所以我设法提交了火花-submit.cmd的工作。它工作，没有任何额外的设置。
我最终没能让bash脚本开始工作，我现在也没有时间对它进行进一步的调查。因此，很抱歉提供了一个半途而废的答案，只是部分地解决了原来的问题，但它仍然是一个解决方案。
下面的命令运行良好
bin\spark-submit.cmd --master k8s://http://127.0.0.1:8001 --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=3 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark.kubernetes.namespace=dev --conf spark.kubernetes.container.image=xxx.azurecr.io/spark:spark-2.4.5_scala-2.12_hadoop-2.7.7 https://xxx.blob.core.windows.net/jars/SparkPi-assembly-0.1.0-SNAPSHOT.jarStack Overflow用户
发布于 2020-11-17 13:20:10
看起来这可能是您正在执行spark-submit的机器上的一个问题。您可能在正在执行spark-submit的机器上的类路径上丢失了一些jars。值得查看Spark installation - Error: Could not find or load main class org.apache.spark.launcher.Main
https://stackoverflow.com/questions/64861007
复制相似问题
腾讯云开发者
