专栏首页python3Python 序列化模块(json,pi

Python 序列化模块(json,pi

json模块

JSON (JavaScript Object Notation):是一个轻量级的数据交换格式模块,受javascript对象文本语法启发,但不属于JavaScript的子集。

常用方法:

dump(obj,fp):将对象以字符串的形式写入文件中。

load(fp):将数据从文件中读出,并返回(需要变量接收)数据的原类型。

dumps(obj):将对象转换成json字符串形式。

loads(str):将json字符串数据转换成原来的数据类型。

实例如下:dumps(obj) | loads(str)

import json

dict_1 = {"电影":"黄飞鸿","电视剧":"霍元甲"}

json_str = json.dumps(dict_1)  # 将字典转换成json的字符串类型

dict_2 = json.loads(json_str)  # 将json的字符串类型转换成原数据

print(json_str,type(json_str))

print(dict_2.items(),type(dict_2))

# 打印内容如下
{"\u7535\u5f71": "\u9ec4\u98de\u9e3f", "\u7535\u89c6\u5267": "\u970d\u5143\u7532"} <class 'str'>
dict_items([('电影', '黄飞鸿'), ('电视剧', '霍元甲')]) <class 'dict'>

实例如下:dump(obj,fp) | load(fp)

import json
# 向文件中写入json数据

dict_1 = {"电影":"黄飞鸿","电视剧":"霍元甲"}

file_write = open("json.txt",mode="w",encoding="utf-8")

json.dump(dict_1,file_write)  # 将字典以json的字符串类型写入文件

file_write.close()
# 从文件中读取json数据

file_read = open("json.txt",mode="r",encoding="utf-8")

dict_2 = json.load(file_read) # 将文件中内容转换成原数据类型并返回

file_read.close()

print(dict_2.items(),type(dict_2)) # 打印转换后的数据

# 打印内容如下
dict_items([('电影', '黄飞鸿'), ('电视剧', '霍元甲')]) <class 'dict'>

这里需要注意的是json模块dump(obj,fp)虽然可以多次上传,但是在load时会报错,load(fp)函数不能转换多次dump的数据。所以如果想要向json文件中新增数据时,需要将数据load下来转换成原数据,然后在原数据基础上进行新增。最后将处理后的数据dump覆盖写到文件中。

pickle模块:

属于python专有的模块,用法,功能与json类似。

常用方法:

dump(obj,fp):将对象以字符串的形式写入文件中。

load(fp):将数据从文件中读出,并返回(需要变量接收)。

dumps(obj):将对象转换成json字符串形式。

loads(str):将json字符串数据转换成原来的数据类型。

dump(obj,fp)  |  load(fp) 示例如下;

import pickle
# 将数据以json方式写入文件

dict_1 = {"电影":"黄飞鸿","电视剧":"霍元甲"}

file_write = open("pickle.txt",mode="wb")

pickle.dump(dict_1,file_write)  # 将字典以字节的形式写入文件

file_write.close()
# 从文件中以json方式读取数据

file_read = open("pickle.txt",mode="rb")

dict_2 = pickle.load(file_read)  # 将文件中内容转换成原数据类型并返回

file_read.close()

print(dict_2.items(),type(dict_2)) # 打印转换后的数据

# 打印内容如下
dict_items([('电影', '黄飞鸿'), ('电视剧', '霍元甲')]) <class 'dict'>

dumps(obj)  |  loads(obj) 示例如下;

import pickle

dict_1 = {"电影":"黄飞鸿"}

pickle_byte = pickle.dumps(dict_1)  # 将字典转换成pickle字节

print(pickle_byte)

# 将pickle字节转换成原数据

dict_2 = pickle.loads(pickle_byte)

print(dict_2.items(),type(dict_2)) # 打印转换后的数据
# 打印内容如下
b'\x80\x03}q\x00X\x06\x00\x00\x00\xe7\x94\xb5\xe5\xbd\xb1q\x01X\t\x00\x00\x00\xe9\xbb\x84\xe9\xa3\x9e\xe9\xb8\xbfq\x02s.'
dict_items([('电影', '黄飞鸿')]) <class 'dict'>

与json不同的是pickle可以多次dump多次load,如下:

import pickle

dict_1 = {"电影":"黄飞鸿"}

dict_3 = {"电视剧":"霍元甲"}

dict_5 = {"动画片":"葫芦娃"}

file_write = open("pickle.txt",mode="wb")

pickle.dump(dict_1,file_write)  # 将dict_1以字节的形式写入文件

pickle.dump(dict_3,file_write)  # 将dict_3以字节的形式写入文件

pickle.dump(dict_5,file_write)  # 将dict_5以字节的形式写入文件

file_write.close()

file_read = open("pickle.txt",mode="rb")

dict_2 = pickle.load(file_read)  # 将文件中内容转换成原数据类型并返回

dict_4 = pickle.load(file_read)  # 将文件中内容转换成原数据类型并返回

dict_6 = pickle.load(file_read)  # 将文件中内容转换成原数据类型并返回

file_read.close()

print(dict_2.items(),type(dict_2)) # 打印转换后的数据

print(dict_4.items(),type(dict_4)) # 打印转换后的数据

print(dict_6.items(),type(dict_4)) # 打印转换后的数据
# 打印内容如下
dict_items([('电影', '黄飞鸿')]) <class 'dict'>
dict_items([('电视剧', '霍元甲')]) <class 'dict'>
dict_items([('动画片', '葫芦娃')]) <class 'dict'>

小结:

1、json属于通用的模块,Java,JS等其它语言也支持。

     pickle是Python私有的,只支持Python。

2、json将对象转换成json字符串类型。

     pickle将对象转换成pickle字节类型。

3、json只能转换dict,list,tuple,str,int,float,bool值等简单数据类型

     pickle能转换除了lamda以外的所有已知数据类型。

4、json虽然可以多次dump但是load会报错(这是最大的伤)。

     pickle可以多次dump,多次load。

shelve模块

使用json或者pickle持久化数据,能dump多次,但load的话只能取到最新的dump, 因为先前的数据已经被后面dump的数据覆盖掉了。如果想要实现dump多次不被覆盖,就可以想到使用shelve模块。shelve模块可以持久化所有pickle所支持的数据类型。另外,写程序的时候如果不想用关系数据库那种重量级的去存储数据,也可以用到shelve。

shelve是用key来访问的,使用起来和字典类似。 要注意的是,在shelve模块中,key必须为字符串,而值可以是python所支持的数据类型。

另外,shelve其实用anydbm去创建DB并且管理持久化对象的。

shelve只提供给我们一个open方法,是用key来访问的,使用起来和字典类似。 可以像字典一样使用get来获取数据等。

如下操作:

import shelve

f_shelve = shelve.open('shelve') # 创建一个文件句柄

f_shelve["name"] = "小明" # 向文件中存放数据

f_shelve["age"] = 21 # 向文件中存放数据

f_shelve["sex"] = "男"

运行后会生成3个文件:shelve.bak shelve.dat shelve.dir

shelve.dat 存储的就是b字节数据类型的数据。bak和dir后缀从字面上看是备份和目录,具体做什么的不是很清楚。

当我们写好数据后,如何读取呢?

import shelve

f_shelve = shelve.open('shelve') # 创建一个文件句柄

# 打印文件内容,和类型

print(f_shelve["name"],f_shelve["age"],f_shelve["sex"],type(f_shelve))

# 打印内容如下
小明 21 男 <class 'shelve.DbfilenameShelf'>

既然f_shelve类似于字典,那我们也可以使用for循环进行打印,如下:

import shelve

f_shelve = shelve.open('shelve') # 创建一个文件句柄

# 使用for循环打印内容

for k,v in f_shelve.items():

    print(k,v)

# 打印内容如下
name 小明
age 21
sex 男

f_shelve现在是一个特殊的文件句柄,它可以执行字典的多数方法,对文件里的数据进行操作。

import shelve

f_shelve = shelve.open('shelve') # 创建一个文件句柄

f_shelve["list"] = [1,2,3]  # 向文件中添加数据列表

f_shelve["list"].append("abc") # 向列表中追加内容.

f_shelve["list"].pop(1) # 从列表中删除一个元素



f_shelve["name"] = "小明" # 向文件中追加内容

f_shelve["name"] = "小红" # 修改name所对应的值

print(f_shelve["list"],f_shelve["name"],sep="\n")

# 打印内容如下
[1, 2, 3]
小红

通过上面的打印内容我们可以发现,我们将列表写入文件后,然后在读取出来进行追加和删除元素,并没有对文件产生影响,文件中的列表内容还是原来的值。而我们向文件中添加字符串时,在读取出来对字符串进行修改发现数据被修改了。

由此我们可以知道在向文件中写入一个可变的数据时,如果读取出来对数据进行修改只是在内存中的修改,修改后的数据并没有被真正写入到文件中。那么我们该如何进行操作呢?这时就需要回写了。

import shelve

# 创建一个特殊的文件句柄,并添加回写功能

f_shelve = shelve.open('shelve',writeback=True)  # 启用会写

f_shelve["list"] = [1,2,3]  # 向文件中添加数据列表

f_shelve["list"].append("abc") # 向列表中追加内容.

f_shelve["list"].pop(1) # 从列表中删除一个元素

print(f_shelve["list"])

# 打印内容如下
[1, 3, 'abc']

这回我们在修改列表时,可以看出列表的数据确实被修改了。

总结如下:

1、shelve模块将内存数据以字典的类型(key,value)通过文件持久化,模拟出简单的db效果。

2、shelve模块可以持久化任何pickle所支持的python数据格式,但是它的key必需得是字符串。

3、shelve可以看作是pickle模块的一个封装,但它实现了可以多次dump(后面的dump不会覆盖前面的)和多次load。

4、shelve访问己有key时,实际上取出的是数据源给出的一份拷贝,所以对于拷贝做出的增加和删除等操作都需要用writeback=True参数才能实现写入回文件中进行修改。

5、shelve对于d[key] = data这种操作,视为存储数据,无则新增,有则覆盖,

对与访问key当中的值(条目)进行修改,默认不回写并不矛盾和冲突。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python jsonp

    python里面要跨域访问json数据,直接用ajax,后台直接返回json格式的数据是不允许的

    py3study
  • python多进程获取返回值

    https://segmentfault.com/q/1010000010403117/a-1020000010411306

    py3study
  • zabbix--python短信接口脚本

    py3study
  • Bytom交易说明(账户管理模式)

    Gitee地址:https://gitee.com/BytomBlockchain/bytom

    比原链Bytom
  • Bytom交易说明(账户管理模式)

    API接口 build-transaction,代码api/transact.go#L120

    比原链Bytom
  • 移动互联网SDK积木模式--广告之外的用户变现

    面对应用商店中一百多万个app,笔者不禁想到他们到底是怎么赚钱的呢?研究发现他们大致可以被分为几类:电商类,游戏类,O2O交易类,媒体类,社交类,和工具类。其中...

    BestSDK
  • 如何在macOS上监听单个应用HTTPS流量

    写在前面的话 如果你准备对网络协议进行逆向分析或进行任何与网络安全有关的活动时,可能是为了了解协议运行机制,也有可能是为了查找敏感信息,你或多或少都需要收集一定...

    FB客服
  • 定语从句

    This is the program that/which is interesting.

    白胡杨同学
  • 关于 IMSDK 的几种消息的解释和对应接口

    离线消息是指未在客户端已读的消息, 即时通信 IM 支持离线消息缓存,即当用户不在线时,下次登录仍会拉取到离线消息, 通过 OnNewMessage 抛出. 默...

    腾讯云 - zjiezhu
  • python测试开发django-6.模板中include使用

    当我们打开一个网站的时候,在打开不同的页面时候,会发现每个页面的顶部、底部内容都差不多,这样就可以把这些公共的部分,单独抽出来。 类似于python里面的函数,...

    上海-悠悠

扫码关注云+社区

领取腾讯云代金券