我正在一个接一个地读取所有文件,这些文件作为YY=18/MM=12/DD=10存储在一个目录结构中,并且只需要读取current date minus 60 days。每天都会创建文件,也有可能有一天文件不会创建。因此,当天的文件夹将不会创建。 我正在读取作为YY/MM/DD存储在目录结构中的所有文件。我正在写下面的代码,但
目标是从delta表中获取日期&如果是昨天,即未找到交易日期,则在其他部分中,昨天日期减去当前日期,并处理另一个循环笔记本,需要使用火花放电。fromdate=spark.sql("select to_date(max(time),'yyyy-mm-dd') date from default.table")printtodate = datet
有人能让我知道如何在文件上过滤日期戳吗?我在Azure Data Lake中的相应文件夹中有以下文件: adl://carlslake.azuredatalakestore.net/folderOne/filenr1_1166_2018-12adl://carlslake.azuredatalakestore.net/folderTwo/filenr2_1168_2018-12-22%2006-07-31.c