Python 对象持久化有什么用？
一直在构思爬虫的多客户端或者多进程程序如何高效进行“断点续传”工作，比如程序跑着跑着用list或者set的方式去分配采集进度，如果突然断了，怎么下次自动从断点开始继续呢。又比如多个客户端和进程如何在系统层面共享变量？
因此可以采用python自带的pickle将对象序列化以及反序列化，以文件作为中转站做到全局共享对象或者临时文件存储对象。
python2.7则使用：import cPickle as pickle
python3 则使用：import picklepython2 其实直接pickle也可以，但是他有c重写编译的包，速度更快，之后python3 移除了C包而且有了各种优化速度也不慢。。
python2.7 ：运行并测速如下：基本在1秒内写入100W的列表到文件中仅9M，并且读取只需要2s，环境mbp中。
# coding:utf-8
import cPickle as pickle
import time
# 用数字，字符串，列表，字典，以及本身元组进行测试
#obj = 123, "abc", ["a", 1], {"key": "value", "key1": "value1"}
obj = range(1,1000000)
print type(obj)
# 序列化到文件
print("1",time.time())
with open("./pickle_obj.txt", "w") as f:
pickle.dump(obj, f)
#从源文件反序列化回对象
print("2",time.time())
with open("./pickle_obj.txt") as f:
tmp_obj = pickle.load(f)
print("3",time.time())
print(len(tmp_obj))如果你在python2中打开这些文件，可以看到各种对象依次并且添加了特地符号来表示存储
如果在python3中优化比较大，range（100000）这样也会变成对象写入，但不是写入100W的列表。
因此同样代码速度相当快，唯独要注意的是：如果报错为：
tmp_obj = pickle.load(f)
TypeError: a bytes-like object is required, not 'str'是因为，pickle默认操作二进制文件（写入的是对象），使用文件函数的时候需要注意，否则出现 TypeError 则open函数参数更改为 wb 就可以正常运行 。因为存入的是对象是二进制数据，因此如果直接打开文本基本无法理解。
原创文章，转载请注明： 转载自URl-team
本文链接地址: Python 对象持久化有什么用？
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2018-09-22，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
腾讯云开发者
