python常见模块之序列化（json与pickle以及shelve）
python常见模块之序列化（json与pickle以及shelve）
什么是序列化？
我们把对象(变量)从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。
为什么要序列化？
1：持久保存状态
需知一个软件/程序的执行就在处理一系列状态的变化，在编程语言中，'状态'会以各种各样有结构的数据类型(也可简单的理解为变量)的形式被保存在内存中。
内存是无法永久保存数据的，当程序运行了一段时间，我们断电或者重启程序，内存中关于这个程序的之前一段时间的数据（有结构）都被清空了。
在断电或重启程序之前将程序当前内存中所有的数据都保存下来（保存到文件中），以便于下次程序执行能够从文件中载入之前的数据，然后继续执行，这就是序列化。
具体的来说，你玩使命召唤闯到了第13关，你保存游戏状态，关机走人，下次再玩，还能从上次的位置开始继续闯关。或如，虚拟机状态的挂起等。
2：跨平台数据交互
序列化之后，不仅可以把序列化后的内容写入磁盘，还可以通过网络传输到别的机器上，如果收发的双方约定好实用一种序列化的格式，那么便打破了平台/语言差异化带来的限制，实现了跨平台数据交互。
反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。
怎么序列化
之前我们学习过用eval内置方法可以将一个字符串转成python对象，不过，eval方法是有局限性的，对于普通的数据类型，
json.loads和eval都能用，但遇到特殊类型的时候，eval就不管用了,所以eval的重点还是通常用来执行一个字符串表达式，并返回表达式的值。
json
json支持的数据格式有限，有int str list dict以及特殊的tuple（会将tuple转为list）
Json模块提供了四个功能：dumps、dump、loads、load
dumps和loads主要是在内存内操作，如下：
1 import json
2
3 list = ['a','b','c']
4
5 list_str = json.dumps(list)
6 print(list_str) #["a", "b", "c"]
7
8 list2 = json.loads(list_str)
9 print(list2) #['a', 'b', 'c']而dump和load是从文件内操作，如下：
1 import json
2
3 list = ['a','b','c']
4
5 with open('test','w',encoding='utf-8') as f:
6 json.dump(list,f)
7
8 with open('test','r',encoding='utf-8') as f2:
9 json.load(f2)pickle
用法与json类似，不过pickle不能跨语言，优点是它支持python所有的数据类型
需要注意的是，pickle是以bytes类型来进行序列化的
1 import pickle
2
3 list = ['a','b','c']
4 list_str = pickle.dumps(list)
5 print(list_str) #b'\x80\x03]q\x00(X\x01\x00\x00\x00aq\x01X\x01\x00\x00\x00bq\x02X\x01\x00\x00\x00cq\x03e.'
6
7 list2 = pickle.loads(list_str)
8 print(list2) #['a', 'b', 'c']而正因为pickle是以bytes类型进行序列化的，所以在用dump和load方法对文件进行写入或者反序列化的时候，要以wb或者rb模式打开，如下：
1 import pickle
2
3 list = ['a','b','c']
4 with open('test','wb') as f:
5 pickle.dump(list,f)
6
7 with open('test','rb') as f2:
8 pickle.load(f2)shelve
shelve也是python提供给我们的序列化工具，比pickle用起来更简单一些。 shelve只提供给我们一个open方法，是用key来访问的，使用起来和字典类似。
1 import shelve
2 f = shelve.open('test1')
3 f['key'] = {'a':1, 'b':2, 'c':'sss'} #直接对文件句柄操作，就可以存入数据
4 f['key2'] = {'d':3, 'e':4, 'f':'ddd'}
5 f.close()
6
7 f1 = shelve.open('test1')
8 dic1 = f1['key'] #取出数据的时候也只需要直接用key获取即可，但是如果key不存在会报错
9 dic2 = f1['key2']
10 f1.close()
11 print(dic1)
12 print(dic2)