基于日期的火花数据过滤
基于日期的火花数据过滤
提问于 2015-08-13 17:39:57
我有一份数据
date, string, string我想在某个时间段之前选择日期。我在没有运气的情况下尝试了下面的方法
data.filter(data("date") < new java.sql.Date(format.parse("2015-03-14").getTime))我收到一个错误，说明了以下内容
org.apache.spark.sql.AnalysisException: resolved attribute(s) date#75 missing from date#72,uid#73,iid#74 in operator !Filter (date#75 < 16508);据我所知，查询是不正确的。有人能告诉我应该以什么方式格式化查询吗？
我检查过数据仓库中的所有企业都有价值--它们有价值。
回答 7
Stack Overflow用户
回答已采纳
发布于 2015-09-22 18:31:20
以下解决方案适用于 since 1.5：
低于：
// filter data where the date is lesser than 2015-03-14
data.filter(data("date").lt(lit("2015-03-14"))) 大于：
// filter data where the date is greater than 2015-03-14
data.filter(data("date").gt(lit("2015-03-14"))) 对于相等，您可以使用equalTo或===：
data.filter(data("date") === lit("2015-03-14"))如果DataFrame date列的类型为StringType，则可以使用to_date函数对其进行转换：
// filter data where the date is greater than 2015-03-14
data.filter(to_date(data("date")).gt(lit("2015-03-14"))) 您还可以使用year函数根据一年进行过滤：
// filter data where year is greater or equal to 2016
data.filter(year($"date").geq(lit(2016))) Stack Overflow用户
发布于 2019-01-02 15:10:34
不要像其他答案所建议的那样使用这个
.filter(f.col("dateColumn") < f.lit('2017-11-01'))但是用这个代替
.filter(f.col("dateColumn") < f.unix_timestamp(f.lit('2017-11-01 00:00:00')).cast('timestamp'))这将使用TimestampType而不是StringType，后者在某些情况下将具有更高的性能。例如，Parquet谓词下推只适用于后者。
编辑:这两个片段都假定此导入：
from pyspark.sql import functions as fStack Overflow用户
发布于 2020-04-29 06:21:28
我发现最易读的表达方式是使用sql表达式：
df.filter("my_date < date'2015-01-01'")我们可以通过查看.explain()中的物理计划来验证此操作是否正确。
+- *(1) Filter (isnotnull(my_date#22) && (my_date#22 < 16436))页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/31994997
复制相关文章
相似问题
腾讯云开发者
