首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Spark找不到JDBC驱动程序

Spark找不到JDBC驱动程序
EN

Stack Overflow用户
提问于 2015-04-10 11:25:11
回答 10查看 58.1K关注 0票数 32

因此,我一直在使用sbt和assembly将我的所有依赖项打包到一个jar中,用于我的spark作业。我有几个工作,我使用c3p0设置连接池信息,将其广播出去,然后在RDD上使用foreachPartition获取连接,并将数据插入到数据库中。在我的sbt构建脚本中,我包含了

代码语言:javascript
复制
"mysql" % "mysql-connector-java" % "5.1.33"

这确保了JDBC连接器与作业打包在一起。一切都很好。

因此,最近我开始尝试使用SparkSQL,并意识到使用1.3.0中的新特性,简单地获取数据帧并将其保存到jdbc源中要容易得多

我得到了以下异常:

在java.sql.DriverManager.getConnection(DriverManager.java:233)的java.sql.DriverManager.getConnection(DriverManager.java:596)上找不到适用于jdbc:mysql://some.domain.com/myschema?user=user&password=password的

java.sql.SQLException

当我在本地运行它时,我通过设置

代码语言:javascript
复制
SPARK_CLASSPATH=/path/where/mysql-connector-is.jar

最终,我想知道的是,为什么工作不能找到驱动程序,而它应该与它打包在一起?我的其他工作从来没有遇到过这个问题。据我所知,c3p0和数据帧代码都使用了java.sql.DriverManager (它可以为您导入我所能告诉您的所有内容),所以它应该工作得很好?如果有什么东西阻止了程序集方法的工作,我需要做些什么才能使它工作?

EN

回答 10

Stack Overflow用户

发布于 2015-04-11 12:01:08

这个人也有类似的问题:http://apache-spark-user-list.1001560.n3.nabble.com/How-to-use-DataFrame-with-MySQL-td22178.html

您是否已将连接器驱动程序更新为最新版本?另外,在调用load()时是否指定了驱动程序类?

代码语言:javascript
复制
Map<String, String> options = new HashMap<String, String>();
options.put("url", "jdbc:mysql://localhost:3306/video_rcmd?user=root&password=123456");
options.put("dbtable", "video");
options.put("driver", "com.mysql.cj.jdbc.Driver"); //here
DataFrame jdbcDF = sqlContext.load("jdbc", options); 

在spark/conf/spark-defaults.conf中,您还可以将spark.driver.extraClassPath和spark.executor.extraClassPath设置为MySql驱动程序.jar的路径

票数 36
EN

Stack Overflow用户

发布于 2017-09-18 19:45:45

spark docs中清楚地提到了这些选项:--driver-class-path postgresql-9.4.1207.jar --jars postgresql-9.4.1207.jar

我犯的错误是在我的应用程序的jar之后提到了这些选项。

然而,正确的方法是在spark-submit之后立即指定这些选项:

spark-submit --driver-class-path /somepath/project/mysql-connector-java-5.1.30-bin.jar --jars /somepath/project/mysql-connector-java-5.1.30-bin.jar --class com.package.MyClass target/scala-2.11/project_2.11-1.0.jar

票数 20
EN

Stack Overflow用户

发布于 2015-07-17 22:48:27

spark驱动程序和executor都需要类路径上的mysql驱动程序,因此请指定

代码语言:javascript
复制
spark.driver.extraClassPath = <path>/mysql-connector-java-5.1.36.jar
spark.executor.extraClassPath = <path>/mysql-connector-java-5.1.36.jar
票数 18
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/29552799

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档