如何使用Pyspark将字符串列转换为十进制列

文章/答案/技术大牛

发布

1回答

PySpark铸管柱在不匹配比例尺情况下不舍入到DecimalType

python、apache-spark、pyspark、casting、bigdecimal

我需要将数字从带有StringType的列转换为DecimalType。十进制类型应该具有预定义的精度和比例，例如，Decimal(2,1)。而字符串列中的数字不能满足这种精度和比例。1.可以在不舍入的情况下将字符串转换为十进制吗？---+-------++--------+-------++--------+-------+ null 2.是否可以<em

浏览 17提问于2022-10-11得票数 1

回答已采纳

1回答

将mm/yyyy字符串转换为日期火花

pyspark

我试图将没有日期的字符串列(只有mm/yyyy )转换为格式为mm/1/yyyy的日期列。我现在的代码是monthdf.select(col("PP Month"),to_date(col("PP Month"),"m如何格式化字符串列的示例是6/2021。

浏览 5提问于2022-06-02得票数 0

2回答

python、dataframe、pyspark、databricks

我有一个包含字符串列的dataframe，我需要将其转换为decimal。以下是数据示例： ?

浏览 16提问于2021-08-19得票数 0

回答已采纳

1回答

在scala dataframe中将字符串列转换为十进制

scala、dataframe、casting

我有一个dataframe ( scala ) --我在笔记本中同时使用了pyspark和scala。#pysparkimport org.apache.spark.sql.functions._ val df = spark.sql("select * from dealer_dl&q

浏览 2提问于2020-10-27得票数 0

回答已采纳

1回答

如何确定错误发生在哪一列上？

apache-spark、pyspark、azure-sql-database

使用Pyspark时，当将数据文件中的数据导入到Azure SQL Db表时，我将得到以下错误。错误本身是不言自明的.但是数据文件和目标表有大约100列，其中75列作为字符串列。并且，错误没有指定错误所在的列。问题：在pyspark中，如何确定错误所在的列？来自数据源的VARCHAR(56)类型的给定值不能转换为指定目标列的varchar(45)类型。

浏览 3提问于2022-08-07得票数 0

1回答

将列表列转换为嵌套结构列

python、apache-spark、pyspark、apache-spark-sql、user-defined-functions

我正在尝试将一组丑陋的文本字符串转换为具有代表性的PySpark数据格式。最后一步是将包含字符串列表的列转换为包含嵌套行结构的列。对于列表中的每个字符串，我使用python字典理解将其规范化为相同的字段。当我试图通过列上的udf来转换它时，它会失败。我的列“记录”包含这样的字符串列表.这在单个字符串上可以很好

浏览 2提问于2018-10-20得票数 1

回答已采纳

1回答

将字符串转换为日期列

python

我希望将字符串列转换为日期列，但结果收到的列的值为空值。from pyspark.sql.functions import expr, from_unixtime, dayofmonth, unix_timestamp, year, to_date, col

浏览 5提问于2020-08-31得票数 1

回答已采纳

1回答

星星之火:将格林尼治时间邮票转换为东方时间，同时考虑到日光节约

apache-spark、timezone、timestamp、pyspark、dst

我试图在东部时区将一列GMT时间戳字符串转换为一列时间戳。我想把日光节约考虑在内。我的时间戳字符串列如下所示：我想出了如何将字符串列转换为EST中的时间戳： from pyspark.sql import functions在上面的from_utc_timestamp调用中，我需要<em

浏览 0提问于2017-08-18得票数 11

回答已采纳

1回答

在H2o流中将多个字符串列转换为枚举

python、pyspark、h2o

我有超过100个字符串列，我需要将它们转换为枚举，以便ML模型将这些列标识为类别。在Pyspark中，没有Category类型(就像在Pandas中一样)，因此我将所有的类别都转换为“String”。我不想点击‘转换为枚举’> 100次，我相信有一个更简单的方法来执行这个任务。

浏览 11提问于2019-07-17得票数 0

3回答

Pandas:有没有一种方法可以在不遇到AttributeError的情况下使用.str访问器来检查对象是否真的是一个字符串？

python、pandas、dataframe

我使用toPandas()将pyspark数据帧转换为pandas数据帧。但是，因为某些数据类型不对齐，所以pandas会将数据帧中的某些列强制转换为object。我也不能使用.str.contains，因为即使包含数值的列是dtype object，在使用.str时它也会出错。一种可能的解决方案是在pyspark端获取字符串列的列表，并将这些列作为运行.str方法的列进行传递。

浏览 1提问于2020-06-23得票数 1

2回答

使用list<string> C#将TryParse转换为list<decimal>

如果可能，如何使用返回类型为decimal.TryParse的bool将字符串列表转换为十进制列表，这样我就可以执行如下操作{} { // to do

浏览 5提问于2016-03-20得票数 0

回答已采纳

1回答

将字符串转换为十进制或浮动mysql

mysql、casting、decimal

我有下一个问题，我有一个带有字符串列的表，但是我需要将这个列转换为十进制或浮点数。我尝试过使用强制转换和转换，但是没有使用示例3.5018.5046.50117.90274.70Not available)) from products0.000.000.000.000.000.000.00 我看到

浏览 1提问于2020-08-22得票数 1

1回答

如何将我的single_space函数应用于大量的数据格式列？

python、dataframe、pyspark、user-defined-functions、preprocessor

我正在使用一个函数来将pyspark中的所有空白空间转换为单一的空白空间。我能够单独应用这个函数来使用.withcolumn分隔列。现在，我有大约120个混合类型的列，我只想将这个函数应用于字符串列。为此，我创建了一个仅包含字符串类型列名的列表。如何喂食(应用，地图?)这个数组到我的函数使用using列？

浏览 1提问于2020-01-27得票数 0

回答已采纳

1回答

在吡火花2.1.0中，如何用十进制值更新列？

python、python-3.x、apache-spark、pyspark

在pyspark 2.1.0中，我有一个列，其中包含了作为字符串的科学标注数字。我需要将它们转换为它们作为浮点数的十进制等价物，例如：为此，我使用了十进制库：但是，这会

浏览 3提问于2021-06-18得票数 0

回答已采纳

1回答

PySpark自定义TimestampType列转换

pyspark、apache-spark-sql

我正在尝试将字符串列(本质上是一个日期)转换为TimestampType列，但是在如何拆分值方面遇到了问题。date_added | 20160430 allowed_date | 10292016 我有3列，它们都是不同的格式，所以我试图找到一种方法来以一种自定义的方式拆分字符串，因为date_added列是yyyymmdd，而al

浏览 19提问于2020-04-30得票数 0

1回答