为什么spark-shell失败，并显示“错误: value driver不是org.apache.spark.sql.SparkSession的成员”？
为什么spark-shell失败，并显示“错误: value driver不是org.apache.spark.sql.SparkSession的成员”？
提问于 2017-11-30 22:19:00
下面是我正在尝试执行的代码。我想我错过了任何包，但不确定需要导入哪个包
scala> spark.driver.extraClassPath /user/hadoop/ojdbc6.jar
<console>:33: error: value driver is not a member of org.apache.spark.sql.SparkSession
spark.driver.extraClassPath /user/hadoop/ojdbc6.jar
^
<console>:33: error: not found: value user
spark.driver.extraClassPath /user/hadoop/ojdbc6.jar
^
<console>:33: error: not found: value hadoop
spark.driver.extraClassPath /user/hadoop/ojdbc6.jar
^
<console>:33: error: not found: value ojdbc6
spark.driver.extraClassPath /user/hadoop/ojdbc6.jar
^回答 2
Stack Overflow用户
发布于 2017-11-30 22:28:59
你能不能试试：
sc.getConf.set("spark.driver.extraClassPath","/user/hadoop/ojdbc6.jar")不确定这是否是你需要的，千万别用这个。
Stack Overflow用户
发布于 2017-12-01 06:03:47
错误的原因是您在spark-shell中输入了以下行(提示符scala>指出是这样)，而不是在执行它之前。
spark.driver.extraClassPath /user/hadoop/ojdbc6.jar这一行看起来像是conf/spark-defaults.conf的一部分，其中配置键和值由空格分隔。
您应该使用conf/spark-defaults.conf或使用--conf命令行选项启动spark-shell，如下所示：
spark-shell --conf spark.driver.extraClassPath=/user/hadoop/ojdbc6.jarspark-shell --driver-class-path /user/hadoop/ojdbc6.jar--jars JARS要包含在驱动程序和执行器类路径中的jars的列表(以逗号分隔)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/47575630
复制相关文章
相似问题
腾讯云开发者
