1回答
我正在通过JDBC将数据从MYSQL服务器加载到Spark，但我需要在加载数据后关闭该连接。关闭连接的确切语法是什么？df_mysql = sqlContext.read.format("jdbc").options( driver="com.mysql</
浏览 13提问于2016-09-17得票数 1
我在外部mysql中使用hive metastore创建了我的metastore。我的表元数据在外部mysql中。我想将它连接到我的spark并使用元数据创建dataframe，以便使用此元数据填充所有列信息。
我该怎么做呢？
浏览 2提问于2019-09-18得票数 0
2回答
我想把火花和MySQL连接起来。MYSQL_CONNECTION_URL = "jdbc:mysql://localhost:3306/test"; SparkSession.builder().master("local[*]").appName("Spark2JdbcDs")
浏览 4提问于2020-04-25得票数 0
回答已采纳
我使用的是spark，我想创建查询来连接数据库中的不同表。url "jdbc:mysql://XXX.XXX.XXX.XXX/mydatabase", dbtable "mydatabase.mytable13.91 seconds, Fetched 1 row(s)
我需要<e
浏览 3提问于2022-03-24得票数 0
回答已采纳
2回答
我尝试从mysql数据库中选择一个表内容到dataframe，然后按照以下步骤与mysql连接。下载mysql-connector-java-5.0.8-bin.jar
浏览 1提问于2016-06-24得票数 0
2回答
我想把mysql和pyspark连接起来。我正在使用jupyter笔记本来运行pyspark。然而，当我这样做的时候， url="jdbc:mysql://localhost:3306/playground",
driver = "com.mysql</
浏览 29提问于2018-08-21得票数 6
1回答
我正在GKE上的Kubernetes上部署一个批处理spark作业。Job试图从MySQL (Google Cloud SQL)获取一些数据，但它给出了连接链接故障。我尝试通过从pod安装mysql客户端来手动连接到mysql，连接正常。我还需要配置什么吗？例外：
Exception in thread "main" com.mysql.cj.jdbc.exceptions.Communicati
浏览 15提问于2019-10-21得票数 0
1回答
有多个版本的mysql连接库。: ~~~:/usr/share/java/*jdbc = spark.read.format("jdbc")\
浏览 19提问于2021-05-31得票数 0
2回答
首先，我构建了scala应用程序，使用这一行代码从apache中的mysql表中读取数据。.option("password", "root")现在，我正尝试使用相同的方法从星火外壳中的mysql表中读取数据。scala> var df = spark.read.format("jdbc").option(&
浏览 2提问于2017-10-02得票数 1
4回答
我试图在Scala应用程序中使用JDBC，并使用sbt进行编译。但是，当我添加行Class.forName("com.mysql.jdbc.Driver")时，它会抛出一个ClassNotFoundException。我的sbt文件是：version := "1.0"libraryDependencies += "org.apache.
浏览 8提问于2017-03-01得票数 2
回答已采纳
我在MySQL数据库中使用此查询 select *, SUBSTRING(input_date, 1, 19),input_date, 20), )) as timestamp
from my_table 其用于将具有UTC偏移(例如2018-12-15T13:48:16-08:00)的样本现在我需要使用PySpark并通过JDBC连接访问该表来做同样的事情，但是当我
浏览 68提问于2019-09-20得票数 0
回答已采纳
我尝试使用Spark连接到MySQL数据库，如下所示： dataframe_mysql = spark.read.format('jdbc').options( d
浏览 11提问于2022-06-27得票数 0
回答已采纳
1回答
在spark应用程序中，我使用以下代码使用JDBC驱动程序从sql服务器数据库检索数据。Dataset<Row> dfResult= sparksession.read().jdbc("jdbc:sqlserver://server\dbname", tableName,partitionColumn在以独立模式运行应用程序时，我看到spark为每个rdd.From创建了唯一的连接-- Api描述，我
浏览 3提问于2016-10-12得票数 2
1回答
我正试着连接到Postgres，跟随
.load()在运行我的应用程序时，我总是会收到这个错误。<init>(JDBCOptions.scal
浏览 8提问于2022-06-27得票数 0
我正在从spark中读取mariadb表，其中包含日期和日期时间字段。火花是在阅读时抛出错误。以下是mariadb表的架构：读取mariadb表的星火代码：
val df = spark.read.format("jdbc").option("driver", "org.mariadb.jdbc.Driver$apache$spark$sql$execution$datasources$<e
浏览 10提问于2022-05-06得票数 0
回答已采纳
好的，我知道我可以使用jdbc连接器使用以下命令创建DataFrame：Map("url" -> "jdbc:mysql:/我尝试使用这两个命令将jdbc添加到spark_path中，但失败了：
spark-shell --jars mysql-conn
浏览 3提问于2015-03-22得票数 0
回答已采纳
spark_write_jdbc(members_df, options = list( user = mysql_user,
password
浏览 4提问于2017-10-12得票数 2
4回答
我正试着按照这里提到的指示..。
这项工作如预期的那样：但这表明了一个错误：
val jdbcDF = spark.read.format("<e
浏览 5提问于2016-09-11得票数 0
2回答
我想将数据从csv作为一个批处理加载到mySql。但是我可以看到将csv中的数据插入到hive数据库的教程/逻辑。有谁能好心地帮助我实现以上使用scala的spark集成？
浏览 3提问于2017-10-27得票数 0
回答已采纳
在从dataframe向表中写入数据之前，我正在尝试从表中删除记录。这对我不起作用。我做错了什么？query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver
浏览 172提问于2020-10-14得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
