在EMR集群5.28.0上,从s3读取拼图文件失败,出现以下异常,而在EMR 5.18.0上,同样可以正常工作。下面是EMR 5.28.0上的堆栈跟踪。在5.28版本中,我可以读取电子病历写入s3的文件,但读取由parquet-go编写的现有拼图文件会抛出异常,而它在电子病历5.18上运行良好file schema: p
在执行以下操作时:Dask.dataframe.to_parquet(data),如果通过Dask读取具有给定分区数量的data,并且您在移除一些列后尝试将其保存为parquet格式,则会失败,并显示以下错误: FileNotFoundError: [Errno 2] No such file or directory: part.0.parquet' 有人遇到过同样的问题吗?下面是一个最小的例子--请注意,方法1按预期工作,而方法2则不是: import numpy as np
import