我需要将数字从带有StringType的列转换为DecimalType。十进制类型应该具有预定义的精度和比例，例如，Decimal(2,1)。而字符串列中的数字不能满足这种精度和比例。([("-001.399", )],["String"]).withColumn("Decimal", F.col("String").cast(DecimalType(2,1)))
df.show(truncate1.可以在不
浏览 17提问于2022-10-11得票数 1
回答已采纳
由于过程过于复杂，我需要将表示数据类型的字符串转换为实际的org.apache.spark.sql.types数据类型。我有一个简单的函数，几乎可以工作了。case "decimal" => DecimalType} 两个版本的十进制行都会导致它失败： found : org.a
浏览 18提问于2020-10-09得票数 3
回答已采纳
如何使用以下模式为单个列DataFrame创建均匀分布的回收箱计数：StructType(List(StructField(a,DecimalType(38,0),true)))from pyspark.sql import Rowfrom decimal import Decimal
浏览 4提问于2021-06-09得票数 1
回答已采纳
我期望从UDF返回类型为decimal(16,4)，但它是decimal(38,18)。 有没有更好的解决方案？我不期望得到“cast(价格表示为decimal(16,4))”的答案，因为除了强制转换之外，我的UDF中还有其他一些业务逻辑。 提前谢谢。import scala.util.Tryimport org.apache.spark.sql.types.Decimalimport spark.implicits._
val str
浏览 271提问于2020-04-08得票数 1
回答已采纳
org.apache.spark.sql.AnalysisException中的异常:不能从十进制(30，6)到十进制(38，18)，因为它可能截断目标对象的类型路径是：- AMOUNT (类："org.apache.spark.sql.types.Decimal"，名称：”org.apache.spark.sql.types.Decimal“)-根类："com.misp.spark.Deal”，您可以在输入数据中添加显式强制转换，或者在目标对象中选择更高精度的字段类型；
case classA
浏览 16提问于2016-12-03得票数 13
回答已采纳
您将看到，我可以创建具有所需BigDecimal精度的DataFrame，但无法将其转换为Dataset。._scala> val schema = StructType(Seq(StructField("dec", DecimalType)).map(a => Row.fromSeq(a)).asJava, schema)
highPrecisionDf: org.apache.spark.sql.DataFrame = [dec:
浏览 73提问于2019-11-14得票数 2
回答已采纳
我有一个带有decimal和string类型的数据框架。我希望将所有十进制列转换为双精度，而不命名它们。我试过了，但没有成功。有点新奇的感觉。>df.printSchema
|-- var2: decimal(38,10) (nullable= true)…
150 more dec
浏览 2提问于2020-02-25得票数 0
回答已采纳
例如：我尝试了几种选择，但似乎没有什么效果：
错误:模式类型与预期类型不兼容；找到: org.apache.spark.sql.types.DecimalType.type必需:org.apache.spark.sql.types.DataType注释:如果要与类匹配，请尝试case D
浏览 1提问于2016-01-06得票数 9
回答已采纳
无法将字符串转换为十进制，它返回null。from pyspark.sql.types import DecimalType df2=df.column("invoice_amount",df["invoice_amount"].cast('decimal(36,12)'))
浏览 10提问于2020-10-07得票数 1
在Apache Spark中强制转换DecimalType(10,5)，例如将99999.99999转换为DecimalType(5,4)静默返回null
有没有可能改变这种行为，允许Spark在这种情况下抛出一个异常
浏览 0提问于2019-04-15得票数 7
我需要在spark Scala中将其转换为Decimal。请帮我看一下cast(DecimalType)语句。+0000025.42
我已经尝试过.cast(DecimalType(11,2))，它显示为空
浏览 1提问于2020-06-02得票数 0
我尝试使用udf将json转换为map。但它并不像预期的那样起作用。= parse(jsonStr).values.asInstanceOf[Map[String, Any]] |-- map: map (nullable = true) | |-- value: decimal(38,18) (val
浏览 4提问于2020-05-13得票数 2
回答已采纳
我的要求是将DataFrame中的所有Decimal数据类型转换为字符串。逻辑可以很好地处理简单类型，但不能处理ArrayType。._2.substring(0,7) == "Decimal"){ }但是arrayType中的列保持不变，尽管它们是decimal类型。请帮助，我如何循环嵌套的元素并将其转换为
浏览 200提问于2018-05-28得票数 0
回答已采纳
在这个DataFrame中，我想将所有的DoubleType列转换为DecimalType(18,5)。我可以使用以下方式将一种特定的数据类型转换为另一种： def castAllTypedColumnsTo(inputDF: DataFrame, sourceType: DataType) = {val targetType = sourceType match { case _ => sour
浏览 51提问于2020-12-16得票数 0
5回答
我有一个包含一个非常大的整数值的dataframe，例如：当我试图将它转换为long时，它在Java中工作，而不是在星星之火环境下工作，我得到了然后，我尝试将它转换为Decimal (BigDecimal)值。同样，在Java中可以轻松地做到这一点，但在Spark中: dframe.withColumn("c_number"
浏览 5提问于2016-10-24得票数 14
回答已采纳
我尝试将一个数组转换为Decimal(30,0)，以便在select中动态转换为： WHERE array_contains(myArrayUDF(), someTable.someColumn) 但是，在使用以下选项进行造型时： val arrIds = someData.select("id").withColumn("id", col("id")
.cast(DecimalType这将导致以下错误： SQL语
浏览 84提问于2020-11-02得票数 0
回答已采纳
{ "type": [ {
"logicalType": "decimal
浏览 6提问于2021-12-06得票数 1
from decimal import Decimaldf= spark.createDataFrame([(Deci
浏览 0提问于2019-09-16得票数 11
回答已采纳
1回答
我有一个Databricks SQL搜索，结果是数据类型为decimal(18,0)当我尝试追加时，我得到的错误是：AnalysisException: Failed to merge fieldsFailed to merge decimal types with i
浏览 0提问于2020-06-19得票数 1
我正在尝试将字符串转换为十进制。我创建了UDF return Decimal(myString) Py4JJavaError: An error occurred while calling o2598.showString.
java.la
浏览 0提问于2020-05-22得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
