我正在用PySpark开发一个小脚本,它生成一个日期序列(比今天的日期早36个月)和(同时应用截断为该月的第一天)。但总的来说,我还是完成了这项任务 但是在Pandas软件包Timedelta的帮助下计算时间增量。 有没有办法用一个纯PySpark函数替换这个来自Pandas的Timedelta?import pandas as pd
from datetime
在spark.sql查询中注册和使用pyspark version 3.1.2内置函数的正确方式是什么? 下面是一个创建pyspark DataFrame对象并在纯SQL中运行简单查询的最小示例。For column literals, use 'lit', 'array', 'struct' or 'create_map' function...的pyspark内置函数运行相同查询的代码出