在群集模式下运行spark作业时,Impala jdbc连接在异常下抛出。Spark job创建hive表,并使用JDBC执行impala表无效/刷新。相同的作业在spark客户端模式下成功执行。
java.sql.SQLException: [Simba][ImpalaJDBCDriver](500164) Error initialized or created transport for authentication: [Simba][ImpalaJDBCDriver](500169) Unable to connect to server: GSS initiate failed. a
当我为表同步运行spark应用程序时,错误消息如下所示:
19/10/16 01:37:40 ERROR Executor: Exception in task 0.0 in stage 3.0 (TID 51)
com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packet
当我试图使用我的spark程序连接oracle db时,我使用的是星星之火-sql 2.4.1
星火计划
val o_url =//"jdbc:oracle:thin: etc ... it is correct and working
val query ="( SELECT 1 FROM DUAL ) T";
val dfReader = spark.read.format("jdbc")
.option("url", o_url)
.option("driver", "or
我需要通过scala/spark应用程序连接到postgres数据库。当我在我的IDE中运行它时,它工作得很好,但是,当我尝试使用以下命令运行打包的可执行jar时,我得到了以下日志消息:
使用以下命令触发可执行jar:
java -cp HighestPerformingCampaign-assembly-1.0.jar com.scala.Executor
抛出异常:
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: jdbc. Please fin
在使用TIDB通过Spark连接到mysql-connector-java 5.1.6 connector时获取以下错误。
请注意,我使用并行连接选项创建了jdbc连接,其中我们指定了列名、下限、上限和分区数。
Spark然后将其分解为(分区数目)查询,将列名的下限和上界划分为相同的大小。
java.sql.SQLException: other error: request outdated.
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
at com.mysql.jdbc.SQLError.createS
我正在尝试从databricks连接到Azure Sql托管实例。我正在使用Scala连接到它。我从复制的代码
我的实际scala代码:(我已经更改了凭据和IP。但是我已经确保它们是正确的,因为我已经从sql server托管实例选项中的连接字符串中复制了它们)
Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver")
val jdbcHostname = "dev-migdb.nf53e3653n43.database.windows.net"
val jdbcPort = 1433
val j
我正在研究分析航空数据的PySpark应用程序。数据库是MS SQLServer DB。同时连接到服务器上的数据库。我得到一个错误“没有合适的驱动程序”。但是,当我使用CLI在本地机器上运行,并将JDBC驱动程序jar文件添加到driver-class-path中时,它会运行并连接到DB。但是当我尝试在Dataproc集群上运行时,它抛出了一个错误“没有合适的驱动程序”。
代码片段如下:
from pyspark import SparkContext
from pyspark.sql import SparkSession
from pyspark.sql.dataframe import
我正试着从蜂巢中读取一张表(嗯,它是Impala),存储在地板格式中。我使用Spark1.3.0和HiveContext。
表的架构是:
(a,DoubleType)
(b,DoubleType)
(c,IntegerType)
(d,StringType)
(e,DecimalType(18,0))
我的代码是:
val sc = new SparkContext(conf)
val hc = new HiveContext(sc)
import hc.implicits._
import hc.sql
val df: DataFrame = hc.table(mytable)
跟踪日志错误