我正在GKE上的Kubernetes上部署一个批处理spark作业。Job试图从MySQL (Google Cloud SQL)获取一些数据,但它给出了连接链接故障。我尝试通过从pod安装mysql客户端来手动连接到mysql,连接正常。我还需要配置什么吗?
例外:
Exception in thread "main" com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
The last packet sent successfully to the server
首先,我构建了scala应用程序,使用这一行代码从apache中的mysql表中读取数据。
val spark = SparkSession.builder().master("local").appName("Fuzzy Match Analysis").config("spark.sql.warehouse.dir","file:///tmp/spark-warehouse").getOrCreate()
import spark.implicits._
var df = spark.read.format("jdbc
我在AWS EMR上运行一个星火应用程序。我尝试使用Spark连接到MySQL数据库,如下所示:
with SparkSession.builder.appName('My test spark').getOrCreate() as spark:
dataframe_mysql = spark.read.format('jdbc').options(
url='mydb.host.com',
driver='com.mysql.cj.jdbc.Driver',
dbtable
在使用TIDB通过Spark连接到mysql-connector-java 5.1.6 connector时获取以下错误。
请注意,我使用并行连接选项创建了jdbc连接,其中我们指定了列名、下限、上限和分区数。
Spark然后将其分解为(分区数目)查询,将列名的下限和上界划分为相同的大小。
java.sql.SQLException: other error: request outdated.
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
at com.mysql.jdbc.SQLError.createS
我在pycharm终端中尝试了这个命令,以连接到mysql服务器。 $SPARK_HOME/bin/spark-submit –-jars /Users/akay_nation/Desktop/spark/jars/mysql-connector-java-8.0.19 abc.py 但是当运行这个命令时,我得到了这个错误: Exception in thread "main" org.apache.spark.SparkException: Cannot load main class from JAR file:/Users/akay_nation/PycharmProj
我正在使用Apache Spark批量写入数据。批次为1天。在运行spark作业时,我得到了这个错误。我正在使用MySQL java连接器连接到TiDB集群。Spark为写入创建了144个并行任务。
java.sql.SQLException: GC life time is shorter than transaction duration
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
at com.mysql.jdbc.SQLError.createSQLException(SQLErro
好的,我知道我可以使用jdbc连接器使用以下命令创建DataFrame:
val jdbcDF = sqlContext.load("jdbc",
Map("url" -> "jdbc:mysql://localhost:3306/video_rcmd?user=root&password=123456",
"dbtable" -> "video"))
但是我得到了一个错误:java.sql.SQLException: No suitable driver found for ...
我尝试使
我有一个码头集装箱正在运行。当我登录到容器并尝试使用python连接器连接到MySQL时,我无法连接。在更改主机系统上运行MySQL的绑定地址属性后,我试图使用内部IP进行连接。
错误
mysql.connector.errors.DatabaseError: 2003 (HY000): Can't connect to MySQL server on '****' (113)
Count2.py
import mysql.connector
cnx = mysql.connector.connect(user='root', password='
#!/bin/sh
spark-shell
import org.apache.spark.sql.SparkSession
val url="jdbc:mysql://localhost:3306/slow_and_tedious"
val prop = new java.util.Properties
prop.setProperty("user",”scalauser”)
prop.setProperty("password","scalauser123")
val people = spark.read.jdbc(url,
我有一个scala对象文件,它在内部查询mysql表,进行连接并将数据写入s3,在本地测试我的代码--运行非常好。但是,当我将其提交到集群时,它会抛出以下错误:
线程"main“中的异常: java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$2.apply(JdbcUtils.scala:54) at org.apache.spark.sql.execution.datasources