如何在将Spark DataFrame写入Oracle时指定列数据类型

文章/答案/技术大牛

发布

0回答

apache-spark、jdbc、pyspark、pyspark-sql

我想使用Oracle JDBC驱动程序将Spark DataFrame写到Oracle表中。我的代码如下所示：mydf.write \ .option(user", "Steven") \ .option("password", "12345

浏览 18提问于2018-07-17得票数 1

1回答

Kudu兼容性的火花数据铸造柱

scala、apache-spark、impala、apache-kudu

我试图通过Kudu将Oracle DB中的表复制到具有相同结构的Impala表中。当代码试图将Oracle NUMBER映射到Kudu数据类型时，我会收到一个错误。如何更改星火DataFrame的数据类型，使其与Kudu兼容？这是一份从Oracle到Impala的1到1的数据副本.我提取了源表的Oracle模式，并创建了一个具有相同结构的目标Impala表(相同的列名和合理的数据类型映射)。我想<e

浏览 3提问于2019-05-15得票数 0

回答已采纳

2回答

如何使用Spark写入PostgreSQL hstore

postgresql、jdbc、apache-spark、spark-dataframe、hstore

我正在尝试将星火数据集写入现有的postgresql表中(不能像列类型一样更改表元数据)。这个表中的一个列是类型的，它造成了麻烦。在启动写入时，我看到了以下异常(此处原始映射为空，转义时为空字符串)： at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtil

浏览 4提问于2016-12-05得票数 7

回答已采纳

1回答

从ORC文件创建外部配置单元表的方法

apache-spark、hive、orc、hive-serde

string,STORED AS ORC |-- _col1: string (nullable = true) |-- _col12: string

浏览 28提问于2020-04-30得票数 0

1回答

pySpark jdbc写入错误:调用o43.jdbc时出错。：scala.MatchError:空

pyspark、db2、spark-dataframe、spark-jdbc

我正在尝试使用pySpark将简单的spark数据帧写入db2数据库。Dataframe只有一个数据类型为double的列。这是只有一行和一列的数据帧：这是数据帧架构：当我尝试使用以下语法将此数据帧写入db2表时：它第一次在数

浏览 0提问于2018-03-21得票数 1

2回答

使用spark sql实现Parquet的数据类型转换-动态转换，无需显式指定列名

pyspark、apache-spark-sql、spark-dataframe、hiveql、parquet

我正在寻找一种动态处理数据类型转换的方法。SparkDataframes，我正在使用hive SQL将数据加载到Dataframe中，并将其存储到dataframe中，然后写入到parquet文件中。Hive无法读取某些数据类型，我希望将decimal数据类型转换为Double。是否有任何方法可以动态处理数据类型，而不是单独指定每个列的名称。假设在我的dataframe中，8<em

浏览 3提问于2017-05-16得票数 0

1回答

如果Dataframe有不同的模式，还会更改表模式

oracle、apache-spark、jdbc

如果Dataframe有不同的模式，使用追加模式也会更改表模式。是否有任何选项可以防止火花在附加时更改oracle元数据？

浏览 0提问于2019-08-29得票数 1

2回答

处理Spark中的所有列/整行

scala、apache-spark、apache-spark-sql

对于包含字符串和数字数据类型混合的dataframe，目标是创建一个新的features列，它是所有这些类型的minhash。虽然这可以通过执行dataframe.toRDD来完成，但是当下一步只是简单地将RDD转换回数据格式时，这样做是很昂贵的。那么，是否有一种方法可以按照以下思路执行udf：当然，Row不是spark sql数据类型</em

浏览 1提问于2018-03-22得票数 4

回答已采纳

1回答

spark Dataframe字符串到配置单元变量字符

apache-spark、hive、apache-spark-sql、spark-dataframe

我通过spark JDBC连接到DataFrame从Oracle读取数据。我有一个列，它显然是dataframe中的StringType。现在我想在Hive中持久化它，但是作为数据类型Varchar(5)。我知道字符串会被截断，但这没问题。val tv = df.createOrReplaceTempView("t

浏览 0提问于2018-04-23得票数 2

2回答

MongoDB火花冲突数据类型

mongodb、apache-spark、pyspark

如何在将Mongodb集合映射到Spark dataframe时避免冲突的数据类型。我们不能将冲突的数据类型转换为字符串。并在执行select操作时出错。我使用的是Mongodb-Spark-connector v2.10:1.0.0

浏览 4提问于2016-07-21得票数 0

1回答

在数据库上的Delta上指定列名和推断模式

databricks、azure-databricks、delta-live-tables

cloudFiles.inferColumnTypes','true','header','false',我的数据，它的读取没有头，但我想让它推断数据类型使用有一个选项可以为它提供一个显式模式，但鉴于这是一个着陆表，我希望将这种开销的负担降到最低。星火文档非常稀少，而且databricks文档甚至更糟糕。有人知道我能不能这么做吗？

浏览 4提问于2022-05-17得票数 1

1回答

写入Synapse更改创建的Synapse表列的数据类型的数据库

databricks、azure-synapse

我用列数据类型- [Comments] [varchar](2000) NULL创建了Synapse表df.write \ .option(&q

浏览 13提问于2022-07-18得票数 0

回答已采纳

1回答

如何使用Scala在Spark中创建仅包含列名和数据类型的新空列

scala、apache-spark

与在RDBMS中添加新列一样，不需要在列中填充数据，但需要提供列名和数据类型。我想在Spark dataframe中做同样的事情，但不一定在Schema中指定，我希望新的列可以以特别的方式创建 val dfWithNewColumn = df.withColumn("new_col", IntgerType) 重点就是提供类型而不是Spark推理。但是我看不到任何解决方案，除了在Schema中进行更改或者将默认值

浏览 28提问于2020-07-02得票数 0

回答已采纳

1回答

将PySpark DataFrames写入MySQL时的最佳实践

python、mysql、pyspark、apache-spark-sql、airflow

对于这些管道之一，我试图将数据从PySpark DataFrame写入MySQL，并且一直遇到一些问题。这只是我的代码现在看起来的样子，但是我确实想在将来添加更多的转换，df_tsv.write.jdbc其次，我想知道将数据从Spark写入数据库(如MySQL )时的最佳实践是什么。例如，是否有选项

浏览 2提问于2021-10-28得票数 1

回答已采纳

2回答

我是否可以更改作为表加载到Server的Spark* dataframe列的数据类型？*

sql-server、pyspark、azure-data-lake、azure-sql-data-warehouse

option("inferSchema", "true")df = df['Id','IsDeleted']df.write \ .mode('overwri

浏览 0提问于2019-01-15得票数 3

1回答

编写和读取更改模式

apache-spark、pyspark

我有一个，它包含字符串和int列。spark = SparkSession.builder.enableHiveSupport().getOrCreate() df= spark.createDataFrame([("Alberto", 2), ("Dak

浏览 0提问于2020-07-28得票数 1

回答已采纳

1回答

spark dataframe saveAsTable如何自动转换数据类型

hive、apache-spark-sql

当目标表具有与当前数据帧模式不同的数据类型时，dataframe saveAsTable(Append模式)会做什么？而现有的配置单元表格是通过以下方式创建的：数据帧似乎可以将数据写入hive表，但是列i在dataframe中是bigint，而int int hive。我想知道spark d

浏览 0提问于2020-03-19得票数 0

1回答

星星之火:未能将包含空值的布尔列发送到Oracle

oracle、scala、apache-spark、apache-spark-sql

我有一个包含布尔列(TRUE、FALSE、NULL)的dataframe。当我使用Spark2 Scala将此数据发送到Oracle19c中的现有表时，由于错误: java.sql.SQLException:无效列类型: 16，它失败了。但是，当它们不是dataframe中的空值时，任务就成功地完成了。此外，如果我将一个空值直接插入到Oracle中的布尔字段中，我就没有问题(这只是为了在Oracle

浏览 2提问于2021-03-21得票数 1

1回答

Parquet中的嵌套数据类型

apache-spark、pyspark、parquet、delta-lake

Parquet文件的文档表明它可以存储/处理嵌套数据类型。然而，我找不到更多关于最佳做法/陷阱/.的信息。将这些嵌套数据类型存储到Parquet时。我正在考虑以下情况： I使用PySpark (Spark3.3)将我的星火DataFrame存储到一个Delta文件(该文件在罩下使用Parquet文件)。DataFrame DataFrame有一个嵌套的数据类型( StructType )列</em

浏览 2提问于2022-11-11得票数 1

1回答

如何将新列添加到现有数据框中，同时指定它的数据类型？

scala、apache-spark

val yearDF = spark.read.format("jdbc").option("url", connectionUrl) .option(该列用于标记主键是否在源表中删除该行。要向现有数据帧添加新列，我知道有一个选项：dataFrame.withColumn("del_flag",someoperation)，但没有这样的选项来指定新列的数据类型。

浏览 9提问于2018-08-30得票数 0

点击加载更多