Spark找不到JDBC驱动程序
因此，我一直在使用sbt和assembly将我的所有依赖项打包到一个jar中，用于我的spark作业。我有几个工作，我使用c3p0设置连接池信息，将其广播出去，然后在RDD上使用foreachPartition获取连接，并将数据插入到数据库中。在我的sbt构建脚本中，我包含了
"mysql" % "mysql-connector-java" % "5.1.33"这确保了JDBC连接器与作业打包在一起。一切都很好。
因此，最近我开始尝试使用SparkSQL，并意识到使用1.3.0中的新特性，简单地获取数据帧并将其保存到jdbc源中要容易得多
我得到了以下异常：
在java.sql.DriverManager.getConnection(DriverManager.java:233)的java.sql.DriverManager.getConnection(DriverManager.java:596)上找不到适用于jdbc:mysql://some.domain.com/myschema?user=user&password=password的
java.sql.SQLException
当我在本地运行它时，我通过设置
SPARK_CLASSPATH=/path/where/mysql-connector-is.jar最终，我想知道的是，为什么工作不能找到驱动程序，而它应该与它打包在一起？我的其他工作从来没有遇到过这个问题。据我所知，c3p0和数据帧代码都使用了java.sql.DriverManager (它可以为您导入我所能告诉您的所有内容)，所以它应该工作得很好？如果有什么东西阻止了程序集方法的工作，我需要做些什么才能使它工作？
回答 10
Stack Overflow用户
发布于 2015-04-11 12:01:08
这个人也有类似的问题：http://apache-spark-user-list.1001560.n3.nabble.com/How-to-use-DataFrame-with-MySQL-td22178.html
您是否已将连接器驱动程序更新为最新版本？另外，在调用load()时是否指定了驱动程序类？
Map<String, String> options = new HashMap<String, String>();
options.put("url", "jdbc:mysql://localhost:3306/video_rcmd?user=root&password=123456");
options.put("dbtable", "video");
options.put("driver", "com.mysql.cj.jdbc.Driver"); //here
DataFrame jdbcDF = sqlContext.load("jdbc", options); 在spark/conf/spark-defaults.conf中，您还可以将spark.driver.extraClassPath和spark.executor.extraClassPath设置为MySql驱动程序.jar的路径
Stack Overflow用户
发布于 2017-09-18 19:45:45
在spark docs中清楚地提到了这些选项：--driver-class-path postgresql-9.4.1207.jar --jars postgresql-9.4.1207.jar
我犯的错误是在我的应用程序的jar之后提到了这些选项。
然而，正确的方法是在spark-submit之后立即指定这些选项：
spark-submit --driver-class-path /somepath/project/mysql-connector-java-5.1.30-bin.jar --jars /somepath/project/mysql-connector-java-5.1.30-bin.jar --class com.package.MyClass target/scala-2.11/project_2.11-1.0.jar
Stack Overflow用户
发布于 2015-07-17 22:48:27
spark驱动程序和executor都需要类路径上的mysql驱动程序，因此请指定
spark.driver.extraClassPath = <path>/mysql-connector-java-5.1.36.jar
spark.executor.extraClassPath = <path>/mysql-connector-java-5.1.36.jarhttps://stackoverflow.com/questions/29552799
复制相似问题
腾讯云开发者
