专栏首页python前行者python3 pickle模块详解

python3 pickle模块详解

  • python3 pickle持久化的储存数据。

python程序运行中得到了一些字符串,列表,字典等数据,想要长久的保存下来,方便以后使用,而不是简单的放入内存中关机断电就丢失数据。python模块大全中pickle模块就排上用场了, 他可以将对象转换为一种可以传输或存储的格式。

  • pickle对象串行化

pickle模块将任意一个python对象转换成一系统字节的这个操作过程叫做串行化对象;

  • pickle与cpickle比较

pickle完全用python来实现的,cpickle用C来实现的,cpickle的速度要比pickle快好多倍,电脑中如果有cpickle的话建议使用cpickle。

  • pickle模块中常用的函数:

pickle.dump(obj, file, [,protocol]) 含义:pickle.dump(对象,文件,[使用协议])

将要持久化的数据“对象”,保存到“文件”中,使用有3种协议,索引0为ASCII,1为旧式二进制,2为新式二进制协议,不同之处在于2要更高效一些。默认dump方法使用0做协议。

pickle.load(file) 含义:pickle.load(文件),将file中的对象序列化读出。

从“文件”中读取字符串,将他们反序列化转换为python的数据对象,可以像操作数据类型的这些方法来操作它们; 

pickle.dumps(obj[, protocol]) 函数的功能:将obj对象序列化为string形式,而不是存入文件中。

obj:想要序列化的obj对象。 protocal:如果该项省略,则默认为0。如果为负值或HIGHEST_PROTOCOL,则使用最高的协议版本。

pickle.loads(string) 函数的功能:从string中读出序列化前的obj对象。

string:文件名称。

dump() 与 load() 相比 dumps() 和 loads() 还有另一种能力:dump()函数能一个接一个地将几个对象序列化存储到同一个文件中,随后调用load()来以同样的顺序反序列化读出这些对象。

  • pickle实例代码:

1、一个字典a,用dumple()存储到本地文件,所存数据的格式就是字典,而普通的file.write()写入文件的是字符串。读取时,load()返回的是一个字典,file.read()返回的是一个字符串。

import pickle


a = {" name ": "Tom", "age": "40"}
with open('text.txt', 'wb') as file:
     pickle.dump(a, file)

with open('text.txt', 'rb') as file2:
    b = pickle.load(file2)

print(type(b))
print(b)

执行结果:

<class ‘dict‘>
{‘age‘: ‘40‘, ‘ name ‘: ‘Tom‘}

2、一个列表info,用 pickle.dumps()方法将info序列化为string形式,而不是存入文件中。用pickle.loads()方法从string(文件名称data1)读出序列化前的对象。

import pickle
import pprint

info = [1, 2, 3, 'abc', 'ilovepython']
print('原始数据:')
pprint.pprint(info)

data1 = pickle.dumps(info)
data2 = pickle.loads(data1)

print("序列化:%r" % data1)
print("反序列化: %r" % data2)

执行结果:

原始数据:
[1, 2, 3, 'abc', 'ilovepython']
序列化:b'\x80\x03]q\x00(K\x01K\x02K\x03X\x03\x00\x00\x00abcq\x01X\x0b\x00\x00\x00ilovepythonq\x02e.'
反序列化: [1, 2, 3, 'abc', 'ilovepython']

3、pickle模块主要函数实例

# pickle模块主要函数的应用举例
import pickle
import pprint

dataList = [[8, 1, 'python'],
            [8, 1, 'python'],
            [8, 0, 'python'],
            [8, 1, 'C++'],
            [8, 1, 'C++']]
dataDic = {0: [1, 2, 3, 4],
           1: ('a', 'b'),
            2: {'c': 'yes', 'd': 'no'}}
print("原始数据dataList:")
pprint.pprint(dataList)
print("原始数据dataDic:")
pprint.pprint(dataDic)

# 使用dump()将数据序列化到文件中
fw = open('dataFile.txt', 'wb')
pickle.dump(dataList, fw)
pickle.dump(dataDic, fw)
fw.close()

# 使用load()将数据从文件中序列化读出
fr = open('dataFile.txt', 'rb')
data1 = pickle.load(fr)
print('\n'+"反序列化1:%r" % data1)
data2 = pickle.load(fr)
print("反序列化2:%r" % data2 + '\n')
fr.close()

# 使用dumps()和loads()举例
p = pickle.dumps(dataList)
print(pickle.loads(p))
p = pickle.dumps(dataDic)
print(pickle.loads(p))

执行结果:

原始数据dataList:
[[8, 1, 'python'],
 [8, 1, 'python'],
 [8, 0, 'python'],
 [8, 1, 'C++'],
 [8, 1, 'C++']]

原始数据dataDic:
{0: [1, 2, 3, 4], 1: ('a', 'b'), 2: {'c': 'yes', 'd': 'no'}}

反序列化1:[[8, 1, ‘python‘], [8, 1, ‘python‘], [8, 0, ‘python‘], [8, 1, ‘C++‘], [8, 1, ‘C++‘]]
反序列化2:{0: [1, 2, 3, 4], 1: (‘a‘, ‘b‘), 2: {‘d‘: ‘no‘, ‘c‘: ‘yes‘}}

[[8, 1, ‘python‘], [8, 1, ‘python‘], [8, 0, ‘python‘], [8, 1, ‘C++‘], [8, 1, ‘C++‘]]
{0: [1, 2, 3, 4], 1: (‘a‘, ‘b‘), 2: {‘d‘: ‘no‘, ‘c‘: ‘yes‘}}

4、要注意的是,在load(file)时,要让python能够找到类的定义,否则会报错:

import pickle

class Person:
     def __init__(self, name, age):
        self.name = name
         self.age = age

      def show(self):
         print(self.name+"_"+str(self.age))

aa = Person("Battier", 6)
aa.show()

f = open('./demo3.txt', 'wb')
pickle.dump(aa, f, 0)
f.close()

# del Person
f = open('./demo3.txt', 'rb')
bb = pickle.load(f)

f.close()
bb.show()

如果不注释掉del Person的话,那么会报错:(意思就是当前的模块找不到类了)

5、清空pickler的“备忘”,使用Pickler实例在序列化对象的时候,它会“记住”已经被序列化的对象引用,所以对同一对象多次调用dump(obj),pickler不会“傻呼呼”的去多次序列化。

import pickle
import io

 class Person:
     def __init__(self, name, age):
         self.name = name
          self.age = age

     def show(self):
         print(self.name + "_"+str(self.age))

aa = Person("Battier", 6)
aa.show()

fle = io.BytesIO()
pick = pickle.Pickler(fle)
pick.dump(aa)
val1 = fle.getvalue()
print(len(val1))

pick.clear_memo()
pick.dump(aa)
val2 = fle.getvalue()
print(len(val2))
fle.close()

上面代码运行结果:

Battier_6
69
138

再注释掉pick.clear_memo()后,运行结果如下:

Battier_6
69
74

主要是因为,python的pickle如果不clear_memo,则不会多次去序列化对象。

参考:http://www.mamicode.com/info-detail-2079993.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python3无法导入cPickle

    python3中cPickle模块已经更名为_pickle,所以在python3中导入时可以使用:

    周小董
  • Windows下同时安装python2、python3和pip2、pip3设置

    打开,控制面板\系统和安全\系统,选择高级系统设置,环境变量,选择Path,点击编辑,新建,分别添加D:\Python\python27和D:\Python\p...

    周小董
  • [爬虫]头部伪装快速匹配规则

    周小董
  • H3C 基本配置

    一、H3C的前世今生: H3C的前身华为3COM公司,是华为与美国3COM公司的合资公司(有传言说是当时Cisco起诉华为抄袭它的东西,所以华为找了一家美国挺有...

    小手冰凉
  • python技术面试题(四)--redis持久化

    总所周知,redis是内存型的存储数据库。效率高的同时,也有一个弊端不可忽视,那就是数据安全问题。此处安全指的是数据丢失,并非其他。我们将数据都存储在内存中,如...

    小闫同学啊
  • SCF VS Code 实践:基于腾讯云scf和对象存储cos实现的图床。

    clone本仓库或者下载zip包直接上传腾讯云无服务器云函数也可(这里强烈推荐下腾讯云云函数产品的命令行工具SCF CLI)

    用户1618303
  • 学习笔记-小甲鱼Python3学习第二讲

    py3study
  • pip安装MySQL-python

    py3study
  • 「面试」单纯虎牙

    虎牙和斗鱼,这一定有你的青春吧?还真想回到那个通宵看直播的年纪,可是到了毕业季,找工作季,咱们不得不将时间的中心转移,转移到离我们梦想更近的地方

    我是程序员小贱
  • Python基础(1) ——安装与配置

    羊羽shine

扫码关注云+社区

领取腾讯云代金券