我曾经使用过pd.read_csv(my_csv, na_values=['N/A', '--'])
,这样字符串'N/A‘和'--’会被解释为NULL、NaN等。
但如果我使用BigQuery客户端,我不知道如何实现同样的壮举。我读了.to_dataframe()的快速帮助,它“从QueryJob返回一个熊猫DataFrame”,但它似乎没有接受任何额外的参数。
这个是可能的吗?或者我必须进行自己的自定义后处理来跟踪缺少的值?
发布于 2019-05-30 02:42:34
您可以从下面获得相同的结果:
dataFrame.applymap(lambda x: np.nan if x in ['N/A', '--'] else x)
发布于 2019-05-30 05:47:24
如果您在将结果放入数据帧之前运行某个查询,那么您可以在BigQuery端轻松完成此操作,而不必担心在客户端过滤结果。
像IF(column in ('N\A', '--'), null, column) as column
这样的东西应该可以为您做这项工作。
https://stackoverflow.com/questions/56366643
复制相似问题