我正在尝试重新创建我已经用Python使用Databricks完成的一些工作。我有一个数据,其中有一个名为“time”的列,以纳秒为单位。在Python中,我使用以下代码将字段转换为适当的日期时间值:
# Convert time field from nanoseconds into datetimedf["time"] = pd.to_datetime
我有一个包含1000万条记录和150列的spark数据帧。我正在尝试将其转换为熊猫DF。x = df.toPandas()而且它在ordinal must be >= 1上也失败了。我假设这是因为它太大了,不能一次处理。是否可以将其分块并将其转换为每个块的pandasDF?ps = x.toPandas()