将spark dataframe数据类型映射到jdbc数据类型

文章/答案/技术大牛

发布

1回答

Kudu兼容性的火花数据铸造柱

scala、apache-spark、impala、apache-kudu

我试图通过Kudu将Oracle DB中的表复制到具有相同结构的Impala表中。当代码试图将Oracle NUMBER映射到Kudu数据类型时，我会收到一个错误。如何更改星火DataFrame的数据类型，使其与Kudu兼容？我想指定“名为SOME_COL的第1列(在NUMBER中是NUMBER)应该映射到Kudu中支持的LongType”。val df: DataFrame =

浏览 3提问于2019-05-15得票数 0

回答已采纳

2回答

MongoDB火花冲突数据类型

mongodb、apache-spark、pyspark

如何在将Mongodb集合映射到Spark dataframe时避免冲突的数据类型。我们不能将冲突的数据类型转换为字符串。并在执行select操作时出错。我使用的是Mongodb-Spark-connector v2.10:1.0.0

浏览 4提问于2016-07-21得票数 0

1回答

apache-spark、spark-dataframe、amazon-redshift

我正在使用df.write.jdbc将数据帧保存到数据库表中。我的数据帧中有一列是map(string, string)类型的a。如何将其写入数据库表？目标是一个红移数据库。

浏览 27提问于2017-03-17得票数 0

1回答

获取py4j.protocol.Py4JJavaError:调用o65.jdbc时出错。：java.sql.SQLException:不支持的TIMESTAMP_WITH_TIMEZONE类型

apache-spark、jdbc、pyspark、apache-spark-sql、spark-jdbc

我正在使用pyspark将JDBC连接到Denodo数据库。连接到的表包含2列的"TIMESTAMP_WITH_TIMEZONE“数据类型。由于spark提供了到少数dbs的内置jdbc连接(其中的not并不是其中的一部分)，所以它无法识别"TIMESTAMP_WITH_TIMEZONE“数据类型，因此无法映射到它的任何sql数据。c_schema="game start date TIMESTAMP,game end date TIMES

浏览 10提问于2022-02-03得票数 0

回答已采纳

1回答

Spark JDBC: DataFrameReader无法读取数据类型为ROWID的Oracle表

oracle、scala、apache-spark、jdbc、spark-jdbc

我正在尝试使用spark.read.format读取一个Oracle表，它对所有表都很有效，除了少数表中有任何数据类型为ROWID的列。:620)分析:我检查了对象，发现case java.sql.Types.ROWID映射到spark的LongType。但是在Orac

浏览 42提问于2018-09-09得票数 3

1回答

我可以强迫spark使用TINYINT而不是字节吗？

sql-server、scala、apache-spark

我试图使用Spark从Hive表中提取数据，并将其保存在Server表中。我面临的一个问题是，一些列正被BYTE数据类型拖到Dataframe中。我这样做的基本方式是：如何将架构应用于强制某些数据类型的此过程

浏览 0提问于2020-07-17得票数 0

回答已采纳

1回答

写入Synapse更改创建的Synapse表列的数据类型的数据库

databricks、azure-synapse

我用列数据类型- [Comments] [varchar](2000) NULL创建了Synapse表df.write \ .option("url", "j

浏览 13提问于2022-07-18得票数 0

回答已采纳

1回答

pySpark jdbc写入错误:调用o43.jdbc时出错。：scala.MatchError:空

pyspark、db2、spark-dataframe、spark-jdbc

我正在尝试使用pySpark将简单的spark数据帧写入db2数据库。Dataframe只有一个数据类型为double的列。这是只有一行和一列的数据帧：这是数据帧架构：当我尝试使用以下语法将此数据帧写入db2表时：它第一次在数据库中创建表时没有任何问题，但是如果我第二次运行代码，它会抛出一个异常：

浏览 0提问于2018-03-21得票数 1

1回答

使用Spark* Scala将SqlServer数据类型转换为Hive数据类型*

scala、apache-spark、mssql-jdbc

Spark用于从SQL server DB中获取表的模式。由于数据类型不匹配，我在使用此模式创建配置单元表时遇到问题。如何在Spark Scala中将SQL Server数据类型转换为Hive数据类型。val df = sqlContext.read.format("jdbc") .option("url", "jdbc:sqlserver://host:port;databaseName=DB&

浏览 48提问于2019-07-19得票数 1

1回答

火花- nvl函数数据类型不匹配误差

apache-spark、apache-spark-sql

使用Spark中的JDBC数据源，我们尝试运行以下查询给出错误为我知道我们可以用看起来我需要找到每一列的数据类型并转换到它如何转换每个列的加载数据类型。

浏览 0提问于2016-12-14得票数 2

回答已采纳

1回答

如何将双精度浮点数写入jdbc上的postgres中

postgresql、apache-spark、jdbc

我正在尝试从Spark向Postgres写入数据；我有一个DataFrame，它由一些字符串、一些浮点值和一些宽度不同的整数组成，我发现如果我不传递一个模式，我就会得到一个如下所示的错误：Unsupported type in postgresql: ByteType at org.apache.spark.sql.jdbc.PostgresDialect10000), c2 BIGINT, c3 BIGI

浏览 1提问于2019-08-14得票数 0

1回答

为什么使用sparklyr将R lubridate::duration数据类型转换为spark中的字符？

r、apache-spark、lubridate、duration、sparklyr

在R中，这将导致duration数据类型，然后可以将其转换为numeric数据类型，如下面的示例所示。dataframe上执行完全相同的转换将生成错误，因为持续时间数据类型会自动转换为字符串数据类型。## Connect to local Spark cluster # Copy data

浏览 23提问于2021-02-17得票数 1

1回答

如何将新列添加到现有数据框中，同时指定它的数据类型？

scala、apache-spark

我有一个dataframe：yearDF，它是通过读取Postgres上的关系型数据库管理系统表获得的，我需要在HDFS上的Hive表中摄取它。val yearDF = spark.read.format("jdbc").option("url", connectionUrl) .option(要向现有数据帧添加新列，我知道有一个选项：dataFrame.withColumn("del_flag",someoper

浏览 9提问于2018-08-30得票数 0

2回答

Hibernate JPA + Sybase图像数据类型

java、hibernate、jpa、sybase

Hibernate JPA数据类型blob不适用于Sybase图像数据类型。下面是我使用的数据类型的一个示例。谁能告诉我如何将fileContent映射到Sybase图像数据类型？不支持并不应调用com.sybase.jdbc3.jdbc.SybResultSet.getBlob(String)方法java.lang.UnsupportedOperationException。

浏览 2提问于2012-04-13得票数 1

回答已采纳

1回答

列是uuid类型，但表达式的类型在Spark中是可变的。

java、postgresql、scala、apache-spark

我正在部署一个流作业，以将数据从Spark (Scala)插入到Postgres。df.select("col1","col2").write.mode(SaveMode.Append).jdbc(url, "tableName", connectionProperties) 这里，col2在dataframe中有uuid值，但它是一个字符串数据类型。当它试图插入到将col2列定义为uuid类型的表时，它在Column is o

浏览 3提问于2021-02-25得票数 0

回答已采纳

1回答

为什么Spark排除Inet数据类型？

apache-spark、apache-spark-sql、spark-dataframe

df.write.mode(mode).jdbc(db, table, props)context.createDataFrame(rdd, schema()) 并获取由于模式不匹配而在中描述的所有错误架构是一个StructType of StructFields，需要一个Spark。是否有一种方法可以使此工作与任何现有的星火Sql数据类型？

浏览 2提问于2017-10-12得票数 1

回答已采纳

2回答

AWS胶水IllegalArgumentException：‘无效的类型名称uuid’

amazon-web-services、aws-glue

我正在尝试将一个在一列中包含UUID的表ETL到postgres表中，但是我正在努力将UUID列作为UUID类型加载到目标postgres表中。transformation_ctx = "applymapping1") 当我运行glue作业时收到以下错误： IllegalArgumentException: 'Invalid type name guid' 有人知道如何将id而且，我似乎找不到允许我在ApplyMapping调用中使用的受支持数据类型的列表。有人知道在哪里可以找到这些

浏览 57提问于2019-10-04得票数 0

回答已采纳

4回答

Bigquery - Spark的Simba JDBC错误

scala、apache-spark、jdbc、google-bigquery

我正在尝试使用Simba JDBC驱动程序(bigquery jdbc 4.2)从apache spark 2.2.0中查询bigqueryimport spark.implicits._val sqlcontext = new org.apache.spark.sql.SQLContext(sc) valpushdown_query = "(select * from mydb.

浏览 3提问于2017-10-31得票数 2

1回答

Parquet中的嵌套数据类型

apache-spark、pyspark、parquet、delta-lake

Parquet文件的文档表明它可以存储/处理嵌套数据类型。然而，我找不到更多关于最佳做法/陷阱/.的信息。将这些嵌套数据类型存储到Parquet时。我正在考虑以下情况： I使用PySpark (Spark3.3)将我的星火DataFrame存储到一个Delta文件(该文件在罩下使用Parquet文件)。DataFrame DataFrame有一个嵌套的数据类型( StructType )列，还有许多(100+)数据

浏览 2提问于2022-11-11得票数 1

1回答

星星之火SQL:如何映射到RDD操作？

apache-spark、apache-spark-sql

当我学习spark时，我脑海中有一个问题：如前所述，SQL执行结果是SchemaRDD，但是场景后面会发生什么呢？

浏览 2提问于2016-06-03得票数 2

回答已采纳

点击加载更多

Kudu兼容性的火花数据铸造柱

MongoDB火花冲突数据类型