搞爬虫的时候,结果是通过file.write(strs)写入文件的。
带来的问题是,进程如果是被杀死的时候,最后一条结果总是缺损的,因为缓存的部分还未写入文件。
解决办法是每次写入文件时,都刷新缓存,直接将缓存数据全部写入文件:
fi = open('file', 'wb') fi.write('strs') fi.flush() ...
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!