如果您读取原始csv文件,数据几乎不适合内存。这就是为什么我们从@munumbutt的读取数据的原因。在这个Feather文件中,浮点精度已经从64位降低到16位。读取Feather文件比读取csv文件更快,因为Feather文件格式是二进制的。print('shape of data:', df_out.shape)
我想使用PyArrow将下列熊猫数据帧存储在一个拼花文件中:df = pd.DataFrame({'field': [[{}, {}]]}) File "<stdin>", line 1, in <module>
File "table.pxi", line 930, in pyarrow.lib.Table.from_pandas</em