AWS EMR Spark错误，错误为`无法加载driverClassName com.mysql.jdbc.Driver`的类
AWS EMR Spark错误，错误为`无法加载driverClassName com.mysql.jdbc.Driver`的类
提问于 2021-08-01 06:17:14
我目前正在尝试在EMR 6.1.0中添加一个进程，该进程将使用Spark在mysql中存储聚合数据。然而，当我实际运行Spark时，我得到了以下错误。
Exception in thread "main" java.lang.RuntimeException: Failed to load class of driverClassName com.mysql.jdbc.此错误在EMR 6.0.0中不会发生。在从EMR 6.0.0更新到6.1.0的过程中，我将Spark版本从2.4.4改为3.0.0。代码本身没有显著变化，我们知道这不是网络问题。
我花了很多时间浏览AWS文档，但似乎找不到任何提示。有谁可以帮我？
回答 2
Stack Overflow用户
发布于 2021-08-01 06:54:55
将MySQL连接器jar放在$SPARK_HOME/jars文件夹下，或者使用--jars标志在spark-shell/spark-submit命令中传递MySQL连接器jar路径。
Stack Overflow用户
发布于 2021-11-05 07:55:59
Spark 3.x依赖于HikariCP。
https://github.com/apache/spark/blob/v3.0.0/dev/deps/spark-deps-hadoop-3.2-hive-2.3#L1
由于ClassLoader，预加载的HikariCP无法加载您的应用程序类。
this.getClass().getClassLoader().loadClass(driverClassName)如果使用sbt-assemlby插件，则应添加shade设置。
assembly / assemblyShadeRules := {
Seq("com.zaxxer.hikari").map { packageName =>
ShadeRule.rename(s"${packageName}.**" -> s"my_app_shade_package.${packageName}.@1").inAll
}
}页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/68607931
复制相关文章
相似问题
腾讯云开发者
