我正在抓取一些数据,我正在寻找一些自动化的东西。此时,我的抓取器会创建JSON文件(我抓取的每个页面对应一个JSON文件),我清理这些文件并将其放入CSV中,然后进行分析。我正在尝试清理JSON类数据,而不是将其保存到JSON文件中。
目前,我正在编写一个JSON文件,然后使用pd.read_json,然后对其进行清理和转换。我希望做的是调用刮除器,让它们返回JSON文件的内容,而不是编写JSON文件,然后加载JSON文件。
当前的代码是这样的:
刮..。
with open('%s-%s-df1.json'%(arg1, arg2), 'w) as fp:
json.dump(df1, fp, indent = 4)
我希望实现的是直接操作df1,而不必执行上述操作。我现在必须这么做的原因是因为pd.read_json将JSON文件转换为pandas数据帧。如何在不导出到JSON文件然后使用pd.read_json导入的情况下转换类似json的数据?
发布于 2018-06-05 06:12:54
pd.read_json
采用文件路径或字符串缓冲区,因此您可以直接将json字符串传递给它。
https://stackoverflow.com/questions/50689422
复制相似问题