我可以确认数据格式的数据类型与BQ表的模式相匹配。我发现这篇文章是关于Parquet文件不能具有混合数据类型的:
在我收到的错误消息中,我看到了对Parquet文件的引用,所以我假设df.to_gbq()调用正在创建Parquet文件,并且我有一个混合数据类型列我认为我面临的挑战是找不到哪一列具有混合数据类型--我尝试将它们全部转换为字符串,然后指定表模式参数,但这也不起作用。\pyarrow\array.pxi in pyarrow
, line 64, in to_feather File "X:\FAKE\venv\lib\site-packages\pyarrowfeather.py", line 183, in write_feather File "X:\FAKE\venv\lib\site-packages\pyarrow\feather.py", line 98, in write
self.writer.
我有一个包含A和B列的拼花文件。A列有一个数据类型字符串,B有一个数据类型float64。B列的数据类型需要更改为int64。由于修改拼花文件是不可行的,所以我创建了一个具有所需数据类型的新拼图文件,即A和int64。我已经在本地机器上成功地实现了这一点,现在必须在AWS lambda中复制相同的内容。import pyarrow as paimport boto3
from