我正在加载列，这是一个varchar存储JSON字符串从mysql表到Spark dataframe。我希望能够在上面使用Spark Sql
您好！根据您提供的问答内容，我可以给出如下完善且全面的答案：
问题：我正在加载列，这是一个varchar存储JSON字符串从MySQL表到Spark DataFrame。我希望能够在上面使用Spark SQL。
答案：加载包含JSON字符串的MySQL列到Spark DataFrame，可以使用Spark SQL中的内置函数和特性来实现。下面是一种可能的解决方案：
- 首先，确保您已经建立了与MySQL数据库的连接。您可以使用Spark的JDBC数据源来连接MySQL。例如，使用Scala代码：
val jdbcUrl = "jdbc:mysql://localhost:3306/database_name"
val connectionProperties = new java.util.Properties()
connectionProperties.put("user", "username")
connectionProperties.put("password", "password")
val df = spark.read.jdbc(jdbcUrl, "table_name", connectionProperties)- 加载MySQL表数据到Spark DataFrame后，您可以使用
select函数来解析JSON字符串列，并将其转换为结构化的数据。下面是一种可能的方式，使用Spark SQL的内置函数from_json和col：
import org.apache.spark.sql.functions._
val jsonSchema = spark.read.json(df.select("json_column").as[String]).schema
val resultDf = df.select(from_json(col("json_column"), jsonSchema).as("json_data"))- 现在，您可以使用
json_data列来执行Spark SQL查询。例如，使用registerTempTable函数将DataFrame注册为临时表，然后使用Spark SQL查询：
resultDf.createOrReplaceTempView("temp_table")
val queryResult = spark.sql("SELECT * FROM temp_table WHERE json_data.field = 'value'")以上是一个基本的解决方案示例，您可以根据具体需求进行调整和优化。
关于Spark SQL中的JSON处理和函数，您可以参考以下链接获取更多详细信息：
此外，腾讯云也提供了适用于云计算的数据库和数据分析服务，您可以参考以下链接了解相关产品：
希望以上信息对您有所帮助！如果您还有其他问题，请随时提问。
相关·内容
下面是我的代码 val query = """
(select id, data as b_data from gtest) t
"""
val df = spark.read.format("jdbc")
.option("url", "jdbc:mysql://192.168.0.22:3306/db")
.option("driver", "com.mysql.jdbc.Driver")
.
浏览 110提问于2020-04-29得票数 0
下面的是我使用scala代码连接到oracle的程序：
/usr/hdp/current/spark2-client/bin/spark-shell --driver-memory 5g --executor-memory 5g --jars /usr/hdp/current/sqoop-client/lib/ojdbc7.jar
import org.apache.spark.sql.SQLContext
val sqlcontext = new org.apache.spark.sql.SQLContext(sc)
val dataframe_mysql = sq
浏览 0提问于2018-02-21得票数 3
回答已采纳
我使用spark/scala本地将json文件转换为dataframe。
我当前的dataframe有一个列‘男性’和‘女性’值，如下所示。我想将dataframe中的‘男性’更改为'M'，以及使用Spark-sql<code>E 215</code>将‘where’更改为'F'的位置。
到目前为止，我已经：
val results = spark.sql("SELECT name, case WHEN gender = 'Male' then 'M' WHEN gender = 'Fema
浏览 5提问于2021-07-19得票数 1
我有一个包含TIMESTAMP(3)列的MySQL表，我想将其作为Spark DataFrame拉入。MySQL JDBC驱动程序无法读取TIMESTAMP(3)列。
有没有一种配置或有效的方法可以指定我自己的Encoder来正确解析这一列？
模式：
CREATE TABLE table_x
(
user_id VARCHAR(255) NOT NULL,
item_id VARCHAR(255) NOT NULL,
serialized_item MEDIUMTEXT NOT NULL,
creation_date TIMESTAMP DEFAULT '
浏览 2提问于2016-03-31得票数 0
1回答
我目前正在从星火查询MySQL，如下所示：
val sqlContext = new SQLContext(sc)
val dataframe_mysql = sqlContext
.read.format("jdbc").option("driver", "com.mysql.jdbc.Driver")
.option("url", url)
.option("dbtable", "MyTable")
.option("user", "My
浏览 5提问于2016-09-30得票数 3
回答已采纳
2回答
我是Spark SQL的新手，
我使用的是DataFrame，它的模式如下
fields.add(DataTypes.createStructField(fieldName[0], DataTypes.StringType, true));
fields.add(DataTypes.createStructField(fieldName[1], DataTypes.StringType, true));
fields.add(DataTypes.createStructField(fieldName[2], DataTypes.DoubleType, true));
fields.add(Da
浏览 0提问于2018-05-21得票数 1
我正在用Scala编写一个ETL (2.4)作业，在;上读取带有glob模式的-separated CSV文件。数据被加载到一个DataFrame中，并包含一个列(假设它被命名为custom)，其中包含一个JSON格式的字符串(、多层嵌套)。其目标是从该列自动推断模式，以便可以为S3中Parquet文件上的写接收器构造模式。
这篇文章()建议，Spark2.4中的schema_of_json可以从JSON格式的列或字符串中推断模式。
以下是我尝试过的：
val jsonSchema: String = df.select(schema_of_json(col("custom")
浏览 0提问于2019-02-14得票数 9
import org.apache.spark.sql.{SparkSession, DataFrame}
import org.apache.spark.sql.functions._
object sparkcpp
{
val spark = SparkSession.builder().getOrCreate()
import spark.implicits._
def extract(): DataFrame =
{
val df = spark.read.option("inferschema","true").op
浏览 1提问于2021-12-09得票数 0
我有多个镶木面板文件(大约1000个)。我需要加载它们中的每一个，处理它并将结果保存到Hive表中。我有一个for循环，但它似乎只能处理2或5个文件，但不能处理1000个文件，因为似乎Spark试图同时加载它们，我需要在同一个Spark会话中单独执行。 我尝试使用for循环，然后使用for each，并使用了unpersist()，但都失败了。 val ids = get_files_IDs()
ids.foreach(id => {
println("Starting file " + id)
var df = load_file(id)
var values_df
浏览 11提问于2019-02-10得票数 1
回答已采纳
我正在尝试运行这样一个PySpark应用程序：
with SparkSession.builder.appName(f"Spark App").getOrCreate() as spark:
dataframe_mysql = spark.read.format('jdbc').options(
url="jdbc:mysql://.../...",
driver='com.mysql.cj.jdbc.Driver',
dbtable='my_table',
浏览 3提问于2022-08-12得票数 0
回答已采纳
1回答
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql._
import org.apache.spark.SparkConf
import org.apache.spark.sql.functions.{col, from_json}
import org.apache.spark.sql.types.{IntegerType, StringType, StructType}
import java.time.{ZonedDateTime, ZoneId}
import java.time.format.Dat
浏览 1提问于2021-10-16得票数 1
回答已采纳
我通过spark JDBC连接到DataFrame从Oracle读取数据。我有一个列，它显然是dataframe中的StringType。
现在我想在Hive中持久化它，但是作为数据类型Varchar(5)。我知道字符串会被截断，但这没问题。
我尝试使用UDF，但由于dataframe没有varchar或char类型，因此UDF不起作用。我还使用以下命令在Hive中创建了一个临时视图：
val tv = df.createOrReplaceTempView("t_name")
val df = spark.sql("select cast(col_name as var
浏览 0提问于2018-04-23得票数 2
Scala2.10在这里使用Spark1.6.2。我有一个与类似的(但不是相同的)问题，然而，被接受的答案不是，它假定了关于火花的某种“预先知识”；因此我无法复制它或理解它。(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。
因此，我希望向现有的DataFrame添加一列，然后将该新列的初始(“默认值”)值应用到所有行。
val json : String = """{ "x": true, "y": "not true" }""
浏览 4提问于2016-10-10得票数 7
回答已采纳
2回答
我正在使用Spark 2.1 (scala 2.11)。 我想用定义的模式将json格式的字符串从一个dataframe加载到另一个dataframe。我尝试过一些解决方案，但最便宜的是标准列函数from_json。我用这个函数试了一个例子(https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-functions-collection.html#from_json)，它给了我意想不到的结果。 val df = spark.read.text("testFile.txt")
df.show(false
浏览 154提问于2019-02-06得票数 4
回答已采纳
我有一个Dataframe，它是从mysql导入的
dataframe_mysql.show()
+----+---------+-------------------------------------------------------+
| id|accountid| xmldata|
+----+---------+-------------------------------------------------------+
|1001| 12346|<AccountSetup
浏览 2提问于2018-08-29得票数 0
我正试图通过启用inferSchema来将csv文件读入火花df，但随后无法获得fv_df.columns。下面是错误消息
>>> fv_df = spark.read.option("header", "true").option("delimiter", "\t").csv('/home/h212957/FacilityView/datapoints_FV.csv', inferSchema=True)
>>> fv_df.columns
Traceback (most re
浏览 12提问于2017-04-26得票数 0
首先，我要预先感谢大家的帮助！我有4张桌子，我加入了它们，得到了一个PySpark数据。其中一个dataframe列如下所示，它有大约20万条记录：
{"table_name":"BTR.DAILY_BTR.JSC_MON","login":"0015471"}
{"table_name":"BTR.DAILY_BTR.ESHOP.JSC_MON","login":"0015471"}
该列的类型为“string”。我需要通过key table_name获得价值。我尝
浏览 4提问于2022-04-26得票数 0
1回答
我有一个包含一些单词的CSV文件。总共没有。csv文件中的字数不会超过50k条记录。
我有一个从具有keywords列的JSON文件创建的Spark Dataframe。我需要做的是从dataframe中过滤出其keywords列值与CSV文件中的值匹配的记录。这里，匹配表示csv文件中的单词是否出现在dataframe列中。
举个例子，假设csv文件中有一个单词"baby toys"，spark dataframe看起来像这样
***Keywords***
new baby toys
baby toys for all
costly baby toys price
baby
浏览 2提问于2019-05-31得票数 0
2回答
我是scala的新手，正在尝试从元素数组中创建自定义模式，以基于新的自定义模式读取文件。 我从json文件中读取数组，并使用explode方法，为列数组中的每个元素创建了一个数据帧。 val otherPeople = sqlContext.read.option("multiline", "true").json(otherPeopleDataset)
val column_values = otherPeople.withColumn("columns", explode($"columns")).select("c
浏览 14提问于2020-05-02得票数 0
回答已采纳
我正在尝试更新一个大的mysql表(有接近500百万行)的每一行的几个字段。表没有任何主键(或者有像UUID这样的字符串主键)。我没有足够的执行内存来一次读取和保存整个数据。谁可以让我知道我有什么选择来处理这样的表。
下面是模式
CREATE TABLE Persons ( Personid varchar(255) NOT NULL, LastName varchar(255) NOT NULL, FirstName varchar(255) DEFAULT NULL, Email varchar(255) DEFAULT NULL, Age int(11) DEFAULT NULL) )
浏览 1提问于2021-04-17得票数 0
我在scala中有一个简单的Spark应用程序。现在，我希望我的spark应用程序只创建一个sparkSession并将Json文件读取到DataFrame中。 object SparkAppExample {
def main(args: Array[String]): Unit = {
val sparkSession = SparkSession.builder()
.appName("Spark Scala Example")
.getOrCreate()
val records: DataFrame = sparkSession.read
浏览 15提问于2020-04-10得票数 0
2回答
我正在学习PySpark，并编写了一个简单的脚本，该脚本从我的HDFS目录中加载一些JSON文件，将每个JSON文件作为python字典加载(使用json.loads() )，然后为每个对象提取一些字段。
相关信息存储在中，我希望将这些数据插入到MySQL表中(我是在本地创建的)。
但是，当我运行这个时，我的连接URL会出现一个错误。
上面写着"java.lang.RuntimeException: 1.5失败：。“
在这一点上：
jdbc:mysql://localhost:3306/bigdata?user=root&password=pwd
^
数据库名为"
浏览 3提问于2017-05-02得票数 0
回答已采纳
1回答
从json(动态模式)读取数据，并将其加载到dataframe。
示例数据帧：
scala> import spark.implicits._
import spark.implicits._
scala> val DF = Seq(
(1, "ABC"),
(2, "DEF"),
(3, "GHIJ")
).toDF("id", "word")
someDF: org.apache.spark.sql.DataFrame = [number: int, wor
浏览 6提问于2020-06-04得票数 0
回答已采纳
1回答
我知道我们可以使用spark从现有的mysql表中读取和写入数据。但是，我们甚至可以创建mysql表并使用dataframes将数据插入其中吗？当我试图将文件加载到dataframe并试图写入不存在的表时，我面临的是空指针，exception.Following是一个错误：
org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:99)的java.lang.NullPointerException在org.apache.spar
浏览 1提问于2018-03-12得票数 2
1回答
在尝试将数据从AWS S3加载到红移时，我面临十进制类型红移表中任何列的问题。我能够加载非十进制数字在红移，但不能加载数据类型，如数字(18，4)。
S3中的DF模式:整数，B字符串，C小数(18，4)，D时间戳
红移表模式:a整数，B VARCHAR(20)，C数字(18，4)，D时间戳
来自stl_load_errors表的错误消息：
无效数字，值‘“，Pos 0，类型:十进制
redshift试图添加的数据：
2|sample_string||2021-04-03|
为什么十进制以空或空的形式出现？？，正如您在上面看到的，红移数据--所有数据都以正确的格式出现--除了十进制列是空的。
浏览 1提问于2021-04-05得票数 1
回答已采纳
我不确定为什么这不起作用，但我只是尝试应用下面的方法，但仍然得到包含text的表(mysql)的spark版本的模式，而不是我试图指定的varchar(128)。尝试使用jdbc write为我的列创建自定义数据类型。尝试使用spark 2.1.0：
def df2DB(
df: DataFrame,
batchSize: Int,
numPartitions: Int,
database: String,
table: String): Unit = {
val mdb = new MetadataBuilder()
mdb.pu
浏览 19提问于2017-12-02得票数 6
我正在尝试将一个文件加载到spark中。如果我将一个普通的textFile加载到Spark中，如下所示：
val partFile = spark.read.textFile("hdfs://quickstart:8020/user/cloudera/partfile")
结果是：
partFile: org.apache.spark.sql.Dataset[String] = [value: string]
我可以在输出中看到一个数据集。但是如果我加载一个Json文件：
val pfile = spark.read.json("hdfs://quickstart:80
浏览 6提问于2017-07-07得票数 0
回答已采纳
我正在实现机器学习模型，并使用来自MySQL表的训练数据集，所有这些都建立在Django之上。因此，基本上所有的计算都是通过将整个数据从MySQL表转换到dataframe来完成的。
df = pd.read_sql("select * from naivebayes_player",connection)
但是，在将dataframe列值与字符串进行比较时，我遇到了一些问题。
因此，我在MySQL表中有一个名为分类的列，其中有2个固定值'RS‘或'NRS’，以varchar(10)格式存储。由于我已经将整个表转换为dataframe，所以每当我在datafra
浏览 0提问于2018-01-13得票数 0
我正在尝试从Spark到SQL仓库表编写一个数据框架。此表中的一个列的值长度大于字符串(256)的默认值。根据此链接， "maxStrLength“指定了在加载到SQL仓库时可用于字符串的最大长度，但此选项无助于从默认值中增加varchar的长度。你能建议一下吗？下面是我正在执行的dataframe写语句，如果需要更多细节，请告诉我。
df.write
.format("com.databricks.spark.sqldw")
.option("url", sqlDwUrlSmall).option( "forward_spark_azure_s
浏览 0提问于2019-04-23得票数 2
5回答
下面的dataframe是一个名为'table_name‘的temp_table。
如何使用spark.sql()为所有列提供前缀？
root
|-- MAIN_COL: struct (nullable = true)
| |-- a: string (nullable = true)
| |-- b: string (nullable = true)
| |-- c: string (nullable = true)
| |-- d: string (nullable = true)
| |-- f: long (nullable = tr
浏览 2提问于2020-01-29得票数 4
回答已采纳
1回答
我现在正在学习星火，我知道如何处理特定的表格。
但是我想从数据库中加载所有的表。问题是如何做到这一点。
下面是我从特定表加载的代码：
package gt.example.spark;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;
import java.util.Arrays;
import java.uti
浏览 2提问于2016-03-01得票数 2
回答已采纳
我想转换一列
array(map(varchar, varchar))
以编程方式从jupyter记事本python3中将presto上的表串成行。
示例
user_id sport_ids
'aca' [ {'sport_id': '5818'}, {'sport_id': '6712'}, {'sport_id': '1065'} ]
预期结果
user_id. sport_ids
'aca'. '
浏览 9提问于2022-07-06得票数 1
我正在尝试从Databricks 3.5 (Spark2.2.1)中的dataframe中的json字符串创建一个数据集。在'jsonSchema‘下面的代码块中，有一个StructType，它具有正确的json-字符串布局，它位于dataframe的'body’列中。
val newDF = oldDF.select(from_json($"body".cast("string"), jsonSchema))
这将返回根对象所在的数据格式。
jsontostructs(CAST(body AS STRING)):struct
后面跟着模式中的字
浏览 0提问于2018-10-23得票数 0
回答已采纳
我正在尝试将json文件序列化为parquet格式。我有一个错误：
org.apache.spark.api.java.function.VoidFunction2[org.apache.spark.sql.Datasetorg.apache.spark.sql.Row，java.lang.Long])org.apache.spark.sql.streaming.DataStreamWriterorg.apache.spark.sql.streaming.DataStreamWriterorg.apache.spark.sql.Row错误：(34，25)重载方法foreachBatch与备选方
浏览 5提问于2020-07-28得票数 6
我正在尝试使用Jdbc从Apache Spark读取一个MySql表。我得到了以下异常：
17/02/26 09:00:18 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.sql.SQLException: Value ' 5023512432017-02-14 16:25:4654617a68ad457d2c2017-02-14 16:07:280000-00-00 00:00:0282.460741.7354 1024.1963sphoneUTRAN13966003659671810.162.
浏览 1提问于2017-02-27得票数 0
我使用星火与纱线簇管理器。
我从Cassandra表中创建了一个数据集，该表包含大约700行数据，其中5列包含5列，其中一列具有JSON格式的数据。数据量仅以MB为单位。
我运行spark-shell时：
spark.executor.memory=4g
spark.driver.memory=2g
我得到了这个错误：
org.apache.spark.shuffle.FetchFailedException:未能连接到bosirahtaicas02.bscuat.local 02. org.apache.spark.storage.ShuffleBlockFetcherIt
浏览 7提问于2017-05-31得票数 3
# Create dummy dataframe
dataframe1 <- rbind("a","b","c")
# Create variable list
variablelist <- unique(dataframe1[,1])
# Loop through adding VARCHAR and commas
sql_var_list <- NULL
for(char in seq_along(variablelist)){
sql_var_list <- paste(sql_var_li
浏览 0提问于2014-09-30得票数 1
回答已采纳
1回答
我试图添加一个新列来激发数据格式，如下所示：
val abc = [a,b,c,d] --- List of columns
我试图将上述列值列表作为新列传递给dataframe，并尝试对新列执行sha2，并尝试执行varchar(64)。
source = source.withColumn("newcolumn", sha2(col(abc), 256).cast('varchar(64)'))
它已完成，运行时错误如下所示：
Exception in thread "main" org.apache.spark.sql.Analysi
浏览 2提问于2020-04-22得票数 0
回答已采纳
我目前正在使用databricks，并且有一个包含20+列的增量表。基本上，我需要从每一行的1列中提取一个值，将其发送到一个返回两个值/列的api，然后创建另一个26列，以将这些值合并回原始增量表。所以输入是28列，输出是28列。目前，我的代码如下所示： from pyspark.sql.types import *
from pyspark.sql import functions as F
import requests, uuid, json
from pyspark.sql import SparkSession
from pyspark.sql import DataFrame
f
浏览 74提问于2021-10-18得票数 2
回答已采纳
? 已尝试加载列之间包含空格的csv文件。 csv的第1行： 058921107 039128053 20200701-290640-0 20200701 000000BORGWARNER ITHACA LLC DBA BORGWARNE 489140-10001 LDD INVENTORY
浏览 27提问于2020-08-26得票数 0
我正在尝试将JSON字符串jsonStr转换为Scala中的。为此目的使用InteliJ。
val spark = SparkSession.builder().appName("SparkExample").master("local[*]").getOrCreate()
val sc = spark.sparkContext
import spark.implicits._
var df = spark.read.json(Seq(jsonStr).toDS)
df.show()
在使用Maven编译/构建项目时获取以下错误。
错误：(243，29)重载方法
浏览 3提问于2020-05-22得票数 0
回答已采纳
所以我有一个非常大的表，其中包含数十亿行，我尝试了Spark DataFrame应用程序接口来加载数据，下面是我的代码：
sql = "select * from mytable where day = 2016-11-25 and hour = 10"
df = sqlContext.read \
.format("jdbc") \
.option("driver", driver) \
.option("url", url) \
.option("user", user) \
浏览 1提问于2016-11-25得票数 0
1回答
我想将dataframe的架构拆分为一个集合。我正在尝试这个方法，但是模式被打印成一个字符串。我是否可以将其拆分为每个StructType的集合，以便对其进行操作(比如只从输出中提取数组列)？我试图平平一个复杂的多层次的结构+数组数据。
import org.apache.spark.sql.functions.explode
import org.apache.spark.sql._
val test = sqlContext.read.json(sc.parallelize(Seq("""{"a":1,"b":[2,3],"
浏览 0提问于2018-03-09得票数 0
回答已采纳
2回答
从pyspark.sql查询中获取有效json文档的最佳方式是什么？例如，如果我运行：
spark.sql("show tables")
我看到它返回一个数据帧，我可以在上面调用'toJSON‘来获取一个RDD。但我找不到一种好的方法将其转换为json文档。我对它调用了'collect()‘，但它没有返回有效的json，而且似乎不是将dataframe转换为json的最有效的方法。
浏览 19提问于2019-08-23得票数 0
回答已采纳
我有一个像这样的JSON
{ 1234 : "blah1", 9807: "blah2", 467: "blah_k", ...}
已写入gzipped文件。它是一个ID空间到另一个ID空间的映射，其中键是ints，值是strings。
我想将它作为DataFrame加载到Spark中。
我把它加载为，
val df = spark.read.format("json").load("my_id_file.json.gz")
默认情况下，Spark使用一个模式加载它，该模式如下所示
|-- 1234: strin
浏览 0提问于2018-09-12得票数 1
How to load a parquet file into vertica database using spark???
链接()
我试着使用上面的链接将数据框(拼图文件)加载到mysql中，它起作用了。但是当我试图将它加载到vertica数据库时，下面的错误是I am facing.The，错误是因为vertica db不支持数据帧(拼图文件)中的数据类型(字符串)。我不想对列进行类型转换，因为这将是一个性能问题。我们希望加载大约2.8亿行。你能建议一下把数据加载到vertica数据库的最好方法吗？
Exception in thread “main” java.sql.SQLSynt
浏览 4提问于2015-10-30得票数 2
我正在创建一个结构如下的菲尼克斯表
CREATE TABLE IF NOT EXISTS "TEST1"(
"slhdr" VARCHAR(100),
"totmins" INTEGER,
"totslrcds" INTEGER,
"tottime" INTEGER, CONSTRAINT pk PRIMARY KEY ("sleepelement")
);
现在，通过从另一个dataframe中选择特定列，我已经从JSON数据中创建了一个dataframe。下面是此数据thi
浏览 0提问于2019-01-08得票数 0
回答已采纳
每当我试图在.show()对象上使用org.apache.spark.sql.DataFrame方法时，我就会得到
java.sql.SQLException: Cannot convert column 2 to integerjava.lang.NumberFormatException: For input string: "{table_name.column_name}" // here table_name.column_table indicates a placeholder I added for the sake of this question
我的Spa
浏览 1提问于2020-08-30得票数 3
1回答
我在HiveWarehouseConnector集群中使用了pyspark和HDP3。模式中发生了更改，因此我使用"alter“命令更新目标表，默认情况下将新列添加到目标表的最后位置。现在，我尝试使用下面的代码将spark保存到它，但是dataframe中的列按字母顺序排列，并且我得到了下面的错误消息
df = spark.read.json(df_sub_path)
hive.setDatabase('myDB')
df.write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnec
浏览 4提问于2021-02-17得票数 0
回答已采纳
试图在Databricks中的Pyspark中创建一个表，该表将捕获每个表的数据库名称、表名和DDL语句。蜂窝亚稳态已经加载在AzureMySQL中，而Databricks集群正是在其上进行指向的。虽然在单独的dataframe对象中，我能够捕获所需的详细信息，但是无法将它们合并到一个表中。我正在查看的模式: DatabaseName、TableName、CreateDDLStatement、Location。对于数据库名和表名，这里是dataframe df1
tables = spark.catalog.listTables(db)
for t in tables:
Df1 = s
浏览 6提问于2022-10-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
