python常见模块之序列化(json与pickle以及shelve)

什么是序列化?

我们把对象(变量)从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling,在其他语言中也被称之为serialization,marshalling,flattening等等,都是一个意思。

为什么要序列化?

1:持久保存状态

需知一个软件/程序的执行就在处理一系列状态的变化,在编程语言中,'状态'会以各种各样有结构的数据类型(也可简单的理解为变量)的形式被保存在内存中。

内存是无法永久保存数据的,当程序运行了一段时间,我们断电或者重启程序,内存中关于这个程序的之前一段时间的数据(有结构)都被清空了。

在断电或重启程序之前将程序当前内存中所有的数据都保存下来(保存到文件中),以便于下次程序执行能够从文件中载入之前的数据,然后继续执行,这就是序列化。

具体的来说,你玩使命召唤闯到了第13关,你保存游戏状态,关机走人,下次再玩,还能从上次的位置开始继续闯关。或如,虚拟机状态的挂起等。

2:跨平台数据交互

序列化之后,不仅可以把序列化后的内容写入磁盘,还可以通过网络传输到别的机器上,如果收发的双方约定好实用一种序列化的格式,那么便打破了平台/语言差异化带来的限制,实现了跨平台数据交互。

反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling。

怎么序列化

之前我们学习过用eval内置方法可以将一个字符串转成python对象,不过,eval方法是有局限性的,对于普通的数据类型,

json.loads和eval都能用,但遇到特殊类型的时候,eval就不管用了,所以eval的重点还是通常用来执行一个字符串表达式,并返回表达式的值。

json

json支持的数据格式有限,有int str list dict以及特殊的tuple(会将tuple转为list)

Json模块提供了四个功能:dumps、dump、loads、load

dumps和loads主要是在内存内操作,如下:

1 import json
2 
3 list = ['a','b','c']
4 
5 list_str = json.dumps(list)
6 print(list_str)     #["a", "b", "c"]
7 
8 list2 = json.loads(list_str)
9 print(list2)        #['a', 'b', 'c']

而dump和load是从文件内操作,如下:

1 import json
2 
3 list = ['a','b','c']
4 
5 with open('test','w',encoding='utf-8') as f:
6     json.dump(list,f)
7 
8 with open('test','r',encoding='utf-8') as f2:
9     json.load(f2)

pickle

用法与json类似,不过pickle不能跨语言,优点是它支持python所有的数据类型

需要注意的是,pickle是以bytes类型来进行序列化的

1 import pickle
2 
3 list = ['a','b','c']
4 list_str = pickle.dumps(list)
5 print(list_str)         #b'\x80\x03]q\x00(X\x01\x00\x00\x00aq\x01X\x01\x00\x00\x00bq\x02X\x01\x00\x00\x00cq\x03e.'
6 
7 list2 = pickle.loads(list_str)
8 print(list2)            #['a', 'b', 'c']

而正因为pickle是以bytes类型进行序列化的,所以在用dump和load方法对文件进行写入或者反序列化的时候,要以wb或者rb模式打开,如下:

1 import pickle
2 
3 list = ['a','b','c']
4 with open('test','wb') as f:
5     pickle.dump(list,f)
6 
7 with open('test','rb') as f2:
8     pickle.load(f2)

shelve

shelve也是python提供给我们的序列化工具,比pickle用起来更简单一些。 shelve只提供给我们一个open方法,是用key来访问的,使用起来和字典类似。

 1 import shelve
 2 f = shelve.open('test1')
 3 f['key'] = {'a':1, 'b':2, 'c':'sss'}  #直接对文件句柄操作,就可以存入数据
 4 f['key2'] = {'d':3, 'e':4, 'f':'ddd'}
 5 f.close()
 6 
 7 f1 = shelve.open('test1')
 8 dic1 = f1['key']  #取出数据的时候也只需要直接用key获取即可,但是如果key不存在会报错
 9 dic2 = f1['key2']
10 f1.close()
11 print(dic1)
12 print(dic2)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Crossin的编程教室

【Python 第42课】 函数的默认参数

今天分享一点小技巧。之前我们用过函数,比如: def hello(name): print 'hello ' + name 然后我们去调用这个函数: h...

32160
来自专栏xingoo, 一个梦想做发明家的程序员

【java开发系列】—— spring简单入门示例

回顾   1 JDK安装   2 Struts2简单入门示例 前言   作为入门级的记录帖,没有过多的技术含量,简单的搭建配置框架而已。这次讲到spring...

221100
来自专栏开发技术

spring-boot-2.0.3不一样系列之源码篇 - SpringApplication的run方法(一)之SpringApplicationRunListener,绝对有值得你看的地方

  Springboot启动源码系列还只写了一篇,已经过去一周,又到了每周一更的时间了(是不是很熟悉?),大家有没有很期待了?我会尽量保证启动源码系列每周一更,...

19620
来自专栏LEo的网络日志

python技巧分享(九)

35460
来自专栏Python小屋

Python选择结构注意事项

以百分制成绩转换为字母等级成绩为例,简单介绍一下Python选择结构需要注意的事项。

16930
来自专栏码生

shell 语法 干货

9720
来自专栏后端技术探索

PHP 使用协同程序实现合作多任务(二)

waitingForRead 及 waitingForWrite 属性是两个承载等待的socket 及等待它们的任务的数组。有趣的部分在于下面的方法,它将检查 ...

12410
来自专栏互联网杂技

丁点而内存知识

在C和C++语言开发中,指针、内存一直是学习的重点。因为C语言作为一种偏底层的中低级语言,提供了大量的内存直接操作的方法,这一方面使程序的灵活度最大化,同时也为...

34240
来自专栏编程

代码生成利器:IDEA 强大的 Live Templates

文章转自:http://blog.xiaohansong.com/2017/03/17/idea-live-templates/ 前言 Java 开发过程经常需...

48250
来自专栏我和PYTHON有个约会

20. 企业级开发基础1:自定义模块

之前的课程中,我们已经了解了python程序设计开发的基础部分内容 包含了数据类型、变量、运算符、程序选择结构、循环结构、函数处理、字符串处理等等内容。 本...

9330

扫码关注云+社区

领取腾讯云代金券