Spark更改列类型失败

文章/答案/技术大牛

发布

2回答

apache-spark、pyspark、apache-spark-sql

nullable = true) |-- Longitude: string (nullable = true) 我有来自Spark我正在尝试将dt中的类型timestamp更改为string temperature_df.withColumn("dt",col("dt").cast(StringType())) 这就是我所做的，我得到了以下错误

浏览 48提问于2021-03-21得票数 0

1回答

使用Spark Java在大型查询中写入Date数据类型时出现问题

google-bigquery

我正在尝试通过Spark在BigQuery中存储日期数据类型列 cast(from_unixtime(eventtime*60) as date) as createdDate 我也尝试过to_date，如下所示，但没有成功 to_date(from_unixtime(eventtime*60)) as createdDate 现在我正在尝试使用Spark-BigQuery连接器保存这个数据集，它给我的错误是字段createdDate已将类型从DATE改为INTEGER。但是当我尝试打印spa

浏览 67提问于2021-01-19得票数 0

回答已采纳

1回答

指定Spark* Schema不会显示正确的显示结果*

python-3.x、pyspark、azure-databricks、pyspark-dataframes

我为我的spark代码指定了模式，但是结果都返回NULL。然而，当I inferSchema=True，header=True时，我得到了正确的结果。,StructField("country", StringType(), True)]) 当我应用模式将文件作为数据帧读入时，如下所示： testzip = spark.read.csv但是，当我使用inferSchema=True，header=True读取数据时，如下所示，我得到了正确的结果，即没有NULL testzip = spark.read.csv("

浏览 35提问于2020-01-12得票数 0

回答已采纳

1回答

org.apache.spark.sql.AnalysisException:非法Parquet类型: INT64 (时间戳(NANOS，true))

postgresql、apache-spark、parquet

我在postgres中有一个包含时间戳列的表。此表存储在hdfs中，作为一个拼花文件。当我试着阅读时：应用程序失败，错误如下：

浏览 5提问于2022-06-13得票数 2

1回答

是否可以在Hive中更改Spark中的列名？

sql、apache-spark、hive

我试图重命名一列(日期类型)，但不确定语法是否错误，或者在Spark中不可能这样做：CHANGE vendor_test_iddate_service DATE org.apache.spark.sql.AnalysisException:不支持ALTER更改列将列'vendor_test_id‘类型为'DateType’改为'da

浏览 0提问于2019-06-21得票数 3

1回答

如何从火花数据中筛选/提取无效时间戳值

python、apache-spark、pyspark、apache-spark-sql

我有一个由时间戳列组成的XYZ记录的数据，该时间戳列由无效的值组成，如下所示这需要创建两个dataframes，一个由有效的时间戳值组成，另一个包含无效的时间戳值，如下所示：有效的df如下所示

浏览 5提问于2021-08-06得票数 1

回答已采纳

1回答

用Java实现星火MLlib分类输入格式

java、apache-spark、apache-spark-mllib、apache-spark-ml

如何将DTO的列表转换为Spark输入数据集格式public class MachineLearningDTO implements Serializable {在执行代码之后，我将得到： java.lang.IllegalArgumentException:需求失败:列特性必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型

浏览 5提问于2017-06-13得票数 0

回答已采纳

3回答

如果在S3的拼图文件中发现相同列的不同数据类型，则AWS胶水作业将在红移中创建新列

apache-spark、amazon-redshift、aws-glue、pyspark-dataframes、aws-glue-data-catalog

当我第一次运行Glue Job时，它正在创建表和加载数据，但当第二次通过更改1列的数据类型运行时，作业并没有失败，而是在Redshift中创建了新列并附加了数据。例如:在这里，我更改了整型数字的数据类型Code,Name,AmountCode,Name,Amount/data/" #read d

浏览 3提问于2020-03-02得票数 2

1回答

为什么DataFrame Row.getAs[Vector]会失败？

apache-spark、dataframe、spark-dataframe

我有一个Spark，它有两个类型为String和org.apache.spark.ml.linalg.SparseVector的列，它工作得很好：但是.失败与错误:无法找到存储在数据集中的类型的编码器。导入spark.implicits._支持基本类型(Int、String等)和Pro

浏览 3提问于2017-02-04得票数 3

2回答

为什么$不能处理String类型的值(并且只直接处理字符串文本)？

scala、apache-spark、apache-spark-sql

" val Date = "Date"} 然后，我想按列对

浏览 2提问于2018-01-11得票数 2

回答已采纳

1回答

Spark SQL on AWS Glue: pyspark.sql.utils.AnalysisException

apache-spark、pyspark、pyspark-sql、aws-glue

SUM() GROUP BY仅用于比较我已经尝试了以下步骤 1)尝试使用Spark方法更改列类型-失败 df=df.withColumn(<column> df[<columns>].cast(DoubleType())) # df is Spark Data 111 Glue不允许更改spark数据框列类型的数据类型 2)按照https://githu

浏览 125提问于2019-04-18得票数 1

1回答

用Spark计算PCA时的IllegalArgumentException

scala、apache-spark

我有一个包含id和features列的拼花文件，我想应用pca算法。val dataset = spark.read.parquet("/usr/local/spark/dataset/data/user")val result = pca.transform(dataset).select("pcaFea

浏览 3提问于2020-01-26得票数 2

回答已采纳

1回答

如何将org.apache.spark.mllib.linalg.VectorUDT转换为ml.linalg.VectorUDT

apache-spark、machine-learning、pyspark、apache-spark-mllib、apache-spark-ml

我正在使用星星团2.0，我想将向量从org.apache.spark.mllib.linalg.VectorUDT转换为org.apache.spark.ml.linalg.VectorUDT。LinearRegression algorithm错误：要求失败:列特性必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7

浏览 5提问于2016-12-13得票数 6

2回答

星星之火:在不改变列的可空属性的情况下抛出十进制

apache-spark、apache-spark-sql

在DecimalType中将列转换为DataFrame似乎会更改可空属性。具体来说，我有一个DecimalType(12, 4)类型的非空列，我使用df.withColumn(columnName, df.col(columnName).cast(dataType))将它转换为这将导致具有预期数据类型的字段，但该字段现在是可空的。有没有一种在不更改列的可空属性的情况下进行强制转换的方法？我在Spark2.2.1和Spark2.3.0

浏览 1提问于2018-06-14得票数 5

回答已采纳

1回答

ApacheSpark:不支持的拼花数据类型

scala、apache-spark、hive、cloudera、apache-spark-sql

$$anonfun$convertToAttributes$1.apply(ParquetTypes.scala:380) 列类型为十进制(24，7)。我已经用HiveQL更改了列类型，但是它不起作用。我删除了表并创建了小数(24，7)中有列的新表，在此之后，我更改了列类型alter table qwe change amount amount decimal(18,7)，可以看到它被更改为十进制(18，7)，但火花

浏览 4提问于2015-08-05得票数 1

回答已采纳

1回答

如何在spark* 2.3中减少存储内存？*

apache-spark、pyspark、apache-spark-sql

我运行pyspark作业来做一些转换，并将结果保存到hdfs中的orc文件中，我的spark conf是： --driver-memory 12G --executor-cores 2 --num-executors8 --executor-memory 32G ${dll_app_spark_options} --conf spark.kryoserializer.buffer.max=2047 --confspark.driver.maxResultSize=4g --conf spark.sh

浏览 16提问于2020-11-03得票数 0

1回答

红移复制无效数字，值'"'，位置0，类型:长整型

apache-spark、pyspark、amazon-redshift

我使用spark创建了一个CSV文件，如下所示： "\001").mode("overwrite").format("csv").save("s3://test123/testcsv001/") (“TRUNCATECOLUMNS NULL AS 'NULL‘TRIMBLANKS ACCEPTANYDATE EMPTYASNULL BLANKSASNULL COMPUPDATE STATUPDATE ON；该命令在第一列具有空值

浏览 22提问于2020-05-01得票数 0

1回答

交叉连接的结果是“设备上没有空间”

amazon-web-services、apache-spark、pyspark

实例类型: r4.2xlarge (8核，61 EBS，128 EBS) "spark.executor.memoryOverhea

浏览 14提问于2022-08-02得票数 0

1回答

当将Pandas数据转换为星火数据时，可以将浮子抛入long吗？

pandas、apache-spark、pyspark、apache-spark-sql、python-3.7

pyspark.sql.types import * import numpy as npspark在创建"col2"期间，当我试图通过模式将LongType隐式“强制转换”到sdf时，它会失败：

浏览 1提问于2022-01-03得票数 0

回答已采纳

1回答

列特性必须是org.apache.spark.ml.linalg.VectorUDT类型

apache-spark、import、pyspark

我想在pyspark中运行这段代码(Spark2.1.1)：pcaResult.show(truncate= false) 需求失败:列特性必须是org.apache.spark.ml

浏览 3提问于2017-06-01得票数 6

点击加载更多