无法比较Spark SQL日期列

文章/答案/技术大牛

发布

2回答

scala、apache-spark、apache-spark-sql

我在scala case类TestDate (id: String，loginTime: java.sql.Date)中有一个case类我想在loginTime列的值相等的两个rdd上进行内连接。firstRDD.toDF.registerTempTable("firstTable") val res = sqlContext.sql它进行笛卡尔分析，并在结果中

浏览 12提问于2016-09-13得票数 0

2回答

spark中基于日期列的2种数据和过滤结果的比较

scala、apache-spark、apache-spark-sql

val test = hivecontext.sql("select max(test_dt) as test_dt from abc"); 其中test1有像id、name、age、audit_dt这样的列我想比较一下这两个来自我能够使用lit函数将audit_dt

浏览 1提问于2017-05-09得票数 1

回答已采纳

1回答

将spark sql中的日期列与最大日期进行比较

scala、apache-spark、apache-spark-sql

string (nullable = true) |-- ColA: string (nullable = true)试过如下： var max_date = sparkVal.sql(s"""SELECT cast(max(created_date)as DATE) from BASE_TABLE""").fir

浏览 2提问于2019-07-08得票数 0

1回答

删除关闭时间戳的条目

scala、apache-spark、spark-dataframe

&& abs(unix_timestamp(col("Date")) - unix_timestamp(col("Date"))) > offset现在，我只是根据特定的列在数据上按分钟选择有人向我提到要创建一个UDF比较日期，如果其他所有列都是相同的，但我不知道如何做到这一点，这样我就可以过滤掉行，或者添加一个标志，然后删除这些行，任何帮助都将非常感谢。类似的sql问题( ) 谢谢!

浏览 2提问于2017-10-25得票数 2

回答已采纳

2回答

Lambda表达式+ pySpark

pyspark、azure-databricks、pyspark-dataframes

我试图比较spark中的列与给定日期，如果列日期小于给定日期，添加n小时，否则添加x小时。就像这样其中y将保存指定的静态日期，然后在DataFrame列上应用df= df.withColumn("newDate", checkDate(df.Time, F.lit('2015-01-01') )

浏览 3提问于2020-05-21得票数 2

回答已采纳

1回答

java.lang.RuntimeException:不支持的文字类型类org.joda.time.DateTime

scala、datetime、jodatime、databricks、runtimeexception

编辑：在构建数据帧时，我使用开始日期和结束日期进行筛选。我将列(timespan类型)与这些值进行比较！

浏览 0提问于2019-07-02得票数 3

回答已采纳

1回答

从外部sql子查询中无法识别表。

apache-spark-sql

ldf.createOrReplaceTempView("loan")df = spark.sql("SELECT * FROMfrom mkt where loan.id >= mkt.id) as m on loan.qtr = m.qtr limit 1")但是，当我运行这个命令时，pyspark无法识别子查询中的

浏览 3提问于2022-11-17得票数 0

1回答

将to_date列与pyspark中的单个值进行比较

apache-spark、pyspark、apache-spark-sql

我有一个pyspark格式的dataframe，读起来如下： df = spark.table('db.table') .select(F.col('key').alias('F.to_date('move_out_date', 'yyyyMMdd').alias('move_out_date')) 现在，我想将move_out_date列与20151231日期进行比较。但是下面的代码不能正

浏览 17提问于2019-08-31得票数 1

回答已采纳

1回答

我正在用Scala编写方法，这些方法接受列参数并返回一个列。在它们中，我希望使用类似于下面的逻辑来比较列的值(从整数到日期)，但遇到了一条错误消息。 lit()仅用于示例目的。实际上，我将列从一个DataFrame.select()传递到一个方法中进行计算。我需要使用这些列进行比较。Error : <console>:96: error: type mismatch; found : org.apache.spark

浏览 18提问于2021-02-02得票数 0

回答已采纳

1回答

火花壳错配

scala、apache-spark、apache-spark-sql

because they are ambiguous: both method StringToColumn in class SQLImplicits of type (sc: StringContext)spark.implicits.StringToColumnStringToAttributeConversionHelper in trait ExpressionConversions of type (sc: StringContext)org.apache.spark.sql.catalyst.dsl.expressions.

浏览 10提问于2022-06-16得票数 0

1回答

scala中的日期转换问题

scala、apache-spark、apache-spark-sql

我有一个场景，我必须获取当前日期与来自dataframe的列中的日期之间的差异。当我获取localDate format格式的当前日期，而dataframe中的日期为date数据类型时，我遇到了一个问题。此外，我还尝试将当前日期转换为字符串，并从dataframe to string转换数据，但没有得到预期的输出，因为日期应该与日期数据类型进行比较。localDate ) { "from0to1year&qu

浏览 21提问于2018-09-05得票数 0

1回答

使用Spark SQL joinWith，我如何连接两个数据集，以基于日期将当前记录与其以前的记录进行匹配？

scala、apache-spark-sql、dataset

我正在尝试使用joinWith在Spark SQL中连接两个仪表读数的数据集，这样返回的类型就是Dataset(读数，读数)。目标是根据日期列将第一个数据集中的每一行(称为当前)与其在第二个数据集中的上一条记录(称为上一条)进行匹配。我需要首先加入计量键，然后通过比较日期来加入，找到比当前读数日期(即前一个读数)小的下一个最大日期。这是我尝试过的，但我认为这太微不足道了。我也得到了一个‘无法解决’的最大错误。

浏览 79提问于2020-01-17得票数 0

1回答

PySpark数据帧:按日期删除行

sql、dataframe、date、pyspark

我想将我的spark数据帧减少到某个日期之后的日期，例如2020-03-01。通过sql加载数据将为数据列提供一个字符串，因此我在尝试通过数据比较删除行之前对其进行了更改。query = "select id, date , volume from "+ INPUT_DB + "." + INPUT_TABLE sdf_monthly = spark.sql(query)

浏览 11提问于2020-09-14得票数 0

2回答

如何在.withColumn函数中获取列的整数值？[Spark - Scala]

scala、date、dataframe、apache-spark

我需要使用date_add()函数将90天添加到数据帧的列中。该函数工作正常，但仅当我对90进行硬编码时。如果数字在另一列中，并且我引用它，该函数会要求我输入一个整数。

浏览 33提问于2019-08-21得票数 3

回答已采纳

1回答

when( )子句中的Scala多个条件

scala、apache-spark

我想使用上面的代码检查是否有一个点在角落里，但是scala一直给我 error >type mismatch;[error] required: org.apache.spark.sql.Column

浏览 54提问于2021-06-30得票数 0

回答已采纳

1回答

无法比较Spark SQL查询中的日期

apache-spark、apache-spark-sql、pyspark

使用MySQL的PySpark和JDBC driver，我不能查询类型为date的列。抛出java.lang.ClassCastException。# root# |-- day: date (nullable = false)query.collect() # ... most recent failure: ... java.lang.ClassCast

浏览 4提问于2015-05-06得票数 2

1回答

Spark Dataframe -每天随机采样记录

apache-spark

. ||2019-02-28| 250,000|我如何使用Spark

浏览 1提问于2019-07-02得票数 3

1回答

使用scala在spark-sql中按其他列检索最大日期分组

scala、apache-spark、apache-spark-sql

csv文件，它有3列数据类型:String，Long，Date。我想按字符串的第一列进行分组，并检索最大的日期值。为此，我从文本文件中创建了Person对象的RDD，并将其转换为dataframe 'peopleDF‘。已将数据帧注册为临时视图。我使用spark提供的sql方法运行以下sql语句。val maxDateDF = spark.sql("SELECT name, max(birthDate) maxDate FROM

浏览 22提问于2021-03-10得票数 0

回答已采纳

2回答

在Spark Sql中使用unix_timestamp验证当前月份的传入日期

apache-spark、apache-spark-sql

如何验证传入的日期是..并将其与当前时间戳( yyyyMMDD格式)进行比较，直至当前月份。如果传入的日期(即)月份超过当前月份，则拒绝其他日期字段。在spark sql中使用from_unix_time(unix_timestamp)进行验证。在case when语句中需要(spark-sql) 例如：编辑： spark.sql("select case when (length( date )>

浏览 83提问于2021-08-12得票数 0

1回答