前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python 对象持久化有什么用?

Python 对象持久化有什么用?

作者头像
十四君
发布2019-11-27 21:04:43
5390
发布2019-11-27 21:04:43
举报
文章被收录于专栏:Urlteam

一直在构思爬虫的多客户端或者多进程程序如何高效进行“断点续传”工作,比如程序跑着跑着用list或者set的方式去分配采集进度,如果突然断了,怎么下次自动从断点开始继续呢。又比如多个客户端和进程如何在系统层面共享变量?

因此可以采用python自带的pickle将对象序列化以及反序列化,以文件作为中转站做到全局共享对象或者临时文件存储对象。

代码语言:javascript
复制
python2.7则使用:import cPickle as pickle 

python3 则使用:import pickle

python2 其实直接pickle也可以,但是他有c重写编译的包,速度更快,之后python3 移除了C包而且有了各种优化速度也不慢。。

python2.7 :运行并测速如下:基本在1秒内写入100W的列表到文件中仅9M,并且读取只需要2s,环境mbp中。

代码语言:javascript
复制
# coding:utf-8
import cPickle as pickle
import time
# 用数字,字符串,列表,字典,以及本身元组进行测试
#obj = 123, "abc", ["a", 1], {"key": "value", "key1": "value1"}
obj = range(1,1000000)
 
print type(obj)
# 序列化到文件
print("1",time.time())
with open("./pickle_obj.txt", "w") as f:
    pickle.dump(obj, f)
 
#从源文件反序列化回对象
print("2",time.time())
with open("./pickle_obj.txt") as f:
    tmp_obj =  pickle.load(f)
 
print("3",time.time())
print(len(tmp_obj))

如果你在python2中打开这些文件,可以看到各种对象依次并且添加了特地符号来表示存储

如果在python3中优化比较大,range(100000)这样也会变成对象写入,但不是写入100W的列表。

因此同样代码速度相当快,唯独要注意的是:如果报错为:

代码语言:javascript
复制
    tmp_obj =  pickle.load(f)
TypeError: a bytes-like object is required, not 'str'

是因为,pickle默认操作二进制文件(写入的是对象),使用文件函数的时候需要注意,否则出现 TypeError 则open函数参数更改为 wb 就可以正常运行 。因为存入的是对象是二进制数据,因此如果直接打开文本基本无法理解。

原创文章,转载请注明: 转载自URl-team

本文链接地址: Python 对象持久化有什么用?

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-09-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档