如何在Spark数据集中抛出强制转换异常

文章/答案/技术大牛

发布

1回答

java、apache-spark、apache-spark-dataset

我正在通过Spark (java)加载csv文件 Dataset<Row> dataset = sparkSession.read().option("header", "true").csv("/test.csv= true) |-- designation: string (nullable = true) 以下是示例数据awqwq| "captain america"|

浏览 81提问于2020-07-27得票数 1

1回答

我需要在星火数据集中使用Akka的ByteString，因为有一些遗留代码(因此不可能使用其他任何东西，比如Array[Byte])。但是，即使简单地使用ByteString，Spark也会抛出以下异常。我应该如何在数据集中使用它？[error] at org.apache.spark.sql.catalyst.ScalaReflection$.org$apache$spark$sql$catalys

浏览 3提问于2017-11-22得票数 1

回答已采纳

2回答

转换不兼容的DecimalType与ClassCastException时的Apache空值

scala、apache-spark、casting

在Apache Spark中强制转换DecimalType(10,5)，例如将99999.99999转换为DecimalType(5,4)静默返回null 有没有可能改变这种行为，允许Spark在这种情况下抛出一个异常

浏览 0提问于2019-04-15得票数 7

2回答

星火sql在进行数据类型转换时将坏记录转换为空。

scala、apache-spark、apache-spark-sql

我有以下数据： Row("Michael ","Rose","","40288(spark.sparkContext.parallelize(simpleData),simpleSchema) +---------+----------+--------+--

浏览 7提问于2021-11-25得票数 1

回答已采纳

1回答

Databricks Version7.0与版本6.3不同:不能将类java.lang.Long转换为java.lang.Integer类

azure-databricks、azure-sql-data-warehouse、azure-synapse

我有一个工作笔记本在蔚蓝数据库6.3版-火花2.4.4当我将笔记本升级到7.0-Spark3.0.0版本时，该过程开始失败，出现以下错误: HdfsBridge：：record recordReaderFillBuffer-遇到意外错误，填充记录读取器缓冲区: ClassCastException: java.lang.Long类不能转换为这种转换不应该是自然而容易的吗？我想这些新特性有什么不同。

浏览 2提问于2020-06-20得票数 3

1回答

在clickhouse中，当转换失败时，如何返回null而不是抛出异常？

clickhouse

如果不能将字符串值强制转换为int，则clickhouse将抛出异常，如何在转换失败时返回null而不是抛出异常？谢谢。 SELECT CAST('a' AS Int32)

浏览 1提问于2021-09-09得票数 0

回答已采纳

2回答

是否将类型强制转换为同一类型，但位于不同的程序集中？

我序列化了一个类，并使用IPC将其发送到另一个应用程序，但是，当我尝试将接收到的类强制转换为相同的类(但在不同的程序集中)时，如果(在安全类型转换的情况下)，我总是得到null，如果是直接强制转换，则会抛出异常那么如何访问接收到的抛出IPC的类的数据成员呢？注我使用JSON序列化和反序列化将我的类发送到另一个应用程序。我尝试用相同的程序集名称设置这两个应用程序，但这不起作用。

浏览 0提问于2015-02-11得票数 1

2回答

如何使用IKVM将.NET异常转换为Java异常？

.net、ikvm

v+--------------------+ 当.net exe向java库程序集中抛出异常(如System.NotSupportedException )时，基于java的程序集期望抛出java异常，而.net库异常则基于非java异常。如果.NET尝试{}catch{}将.net异常转换为ikvm异常，

浏览 2提问于2014-04-21得票数 1

回答已采纳

1回答

左联接错误: org.apache.spark.sql.AnalysisException:检测到逻辑计划之间的左外部联接的隐式笛卡尔乘积

apache-spark、pyspark、apache-spark-sql

*编辑 df_joint = df_raw.join(df_items,on='x',how='left') Apache Spark 2.4.5中出现标题异常 df_raw有2列"x“、"y”的数据，而df_items是模式的空数据框，还有其他一些列左连接发生在null的值上，它应该从第一个dataframe中获取整个数据，并从第二个dataframe中获取空列。当"X“是浮点数时，它是完全正常的，但是当我将"X”<em

浏览 31提问于2020-12-20得票数 0

2回答

火花数据处理中的操作错误

apache-spark、pyspark、apache-spark-sql

我想要建一个全年的数据集。我的方法是从桶中检索密钥，构建每日数据格式，将它们统一为月份数据，对它们进行同样的操作，并作为回报获得全年数据。 spark.sql.parquet.cacheMeta

浏览 0提问于2017-01-09得票数 1

回答已采纳

6回答

“(ListView)发件人”与“发件人作为ListView”

c#、casting、sender

可能重复： (ListView)sendersender as ListView所以，我想知道哪一个更有效率。如果这是编码器的选择，使用哪一个和两者的工作方式相同？？

浏览 4提问于2012-05-23得票数 1

回答已采纳

2回答

如何从Integer RDD创建spark数据帧

apache-spark、dataframe、apache-spark-sql、rdd

DataFrame dataframe = sqlcontext.createDataFrame(inputRDD, Integer.class);我如何才能做到这一点？

浏览 4提问于2016-03-28得票数 1

1回答

在Sharepoint上下文EF中，如何查找导致无效强制转换异常的数据和记录字段

entity-framework、sharepoint

我有一件类似的事情导致以下错误： SharePoint我一直在整个解决方案中寻找原始数据转换到实体的位置，但是在我们的代码中找不到。我假设它是由SharePoint在幕后处理的，但是我如何找到抛出异常的原因呢？这就是我从堆栈跟踪中得到的全部信息，我已经尝试构建了调试设置为true，但是没有额外的信息来说明是什么导致

浏览 4提问于2016-05-03得票数 0

1回答

动态转换到接口时的InvalidCastException

c#、reflection、f#

我在这样的程序集中定义了一个接口：{ string SayHello();}using HelloWorlder; string;} 现在，尝试从F#互动调用它，我得到了一个无效的强制转换异常，下面是试图使用这个

浏览 4提问于2015-06-04得票数 4

回答已采纳

1回答

蜂巢自动浇铸拼花

apache-spark、types、hive

我有一个场景，spark从输入文件中推断模式，并使用Integer数据类型编写parquet文件。但是我们在单元格中有表，其中字段被定义为BigInt。现在没有从int到Long的转换，而hive抛出了它不能将Integer转换为long的错误。我不能编辑Hive到Integer数据类型，因为业务需要拥有这些字段。我已经查找了一个选项，可以在完成saving.This之前对数据类型进行强制转换，但我有数百列，显式强制</em

浏览 3提问于2017-05-11得票数 0

回答已采纳

4回答

JSP EL字符串连接

jsp、el

如何在EL中连接字符串？${var1 == 0 ? 'hi' : 'hello ' + var2} 它在尝试将'hello'强制转换为Double时抛出异常

浏览 1提问于2010-07-07得票数 79

回答已采纳

1回答

，从C#中的IDataReader检索数据

c#、idatareader

我最近遇到了两种从IDataReader获取字符串的看似等价的方法(假设reader实现了IDataReader接口)：为什么要使用"array index“方法而不是"Get”方法呢？这两种方法有什么不同？

浏览 3提问于2019-05-31得票数 1

2回答

当存储过程使用RETURN @value时，可以使用cmd.ExecuteScalar吗

c#、ado.net、executescalar

Convert.ToInt32(cmd.ExecuteScalar());RETURN @value选择@value 另外，这会给我一个对象空异常

浏览 2提问于2009-02-06得票数 5

回答已采纳

9回答

为什么'as‘关键字有效，而()强制转换无效

c#、asp.net

但是，除非有if语句，否则()强制转换会产生异常。编辑:在这个类运行了大约15次之后，我得到了一个null。与()强制转换捕获异常的速度相比，查找null似乎花费了更多的运行时间。如果在if内的'()‘语句中存在调试，则每次断点命中强制转换时都会正常工作。Werid

浏览 2提问于2010-05-01得票数 7

回答已采纳

6回答

星火箱类-十进制型编码器错误“不能从十进制转换”。

scala、apache-spark、apache-spark-sql

我从MySQL/MariaDB中提取数据，在创建Dataset期间，数据类型发生错误线程"main“org.apache.spark.sql.AnalysisException中的异常:不能从十进制(30，6)到十进制(38，18)，因为它可能截断目标对象的类型路径是：- AMOUNT (类："org.apache.spark.sql.types.Decimal"，名称：”org.apache.spark.sql.types.Decimal“)

浏览 16提问于2016-12-03得票数 13

回答已采纳

点击加载更多