问Pandas和HDF5中的文件大小缩减

EN

我正在运行一个模型，该模型将数据输出到多个Pandas框架中，然后将这些帧保存到HDF5文件中。该模型运行数百次，每次在现有HDF5文件的框架中添加新列(多索引)。这是用Pandas merge完成的。由于每次运行的帧都有不同的长度，因此在帧中最终会出现大量的NaN值。

完成足够的模型运行后，如果行或列与出现错误的模型运行相关联，则从框架中删除数据。在这个过程中，新的数据帧被放入一个新的HDF5文件中。下面的伪python演示了这个过程：

with pandas.HDFStore(filename) as store:
    # figure out which indices should be removed
    indices_to_drop = get_bad_indices(store)

    new_store = pandas.HDFStore(reduced_filename) 
    for key in store.keys():
        df = store[key]
        for idx in indices_to_drop:
             df = df.drop(idx, <level and axis info>)
        new_store[key] = df
    new_store.close()

新的hdf5文件最终大约是原始文件大小的10%。文件中唯一的区别是，所有的NaN值不再相等(但都是numpy float64值)。

我的问题是，如何在现有的NaN文件上实现这种文件大小的缩减(大概是通过管理hdf5值)？有些时候我不需要做以上的程序，但我无论如何都是为了得到减少。是否有现有的Pandas或PyTables命令可以做到这一点？先谢谢你。