前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python 序列化数据:pickle与json ,dumps与loads,解决can't pickle _thread.lock objects

python 序列化数据:pickle与json ,dumps与loads,解决can't pickle _thread.lock objects

作者头像
学到老
发布2019-02-14 15:14:26
6.7K0
发布2019-02-14 15:14:26
举报
文章被收录于专栏:深度学习之tensorflow实战篇

python 序列化数据:pickle与json

pickle 只能在python中用python文件间序列化,实现了两个python 内存数据的交互(可序列化任何对象(类,列表)) json 在任何软件间可以在内存数据之间的交互,只能序列化常规的对象(列表 ,字典等)

代码语言:javascript
复制
#!usr/bin/env python
#_*_ coding:utf-8 _*_

import chardet
import pickle
li=['a','hello','world','ok']
print('pickle.dumps结果')
print(pickle.dumps(li))  #把对象序列释放成str
print(type(pickle.dumps(li)))
#dumps反序列化
print('pickle.loads结果')
dumps=pickle.dumps(li)  #注意dumps与dump(文件)
print(pickle.loads(dumps))   #these default to 'ASCII' and 'strict'

#dump反序列化 闭含过文件形式
print('pickle.dump与pickle.load结果')
dumps=pickle.dump(li,open('dump.txt','wb+'))
print(pickle.load(open('dump.txt','rb')))


#pickle 只能在python中用python文件间序列化,实现了两个python 内存数据的交互(可序列化任何对象(类,列表))
#json 在任何软件间可以在内存数据之间的交互,只能序列化常规的对象(列表 ,字典等)


import json
#用法同pickle,dumps与loads,dump与load
dict={'name':'zhongguo','age':'1949'}
print('json案例展示')
print(json.dumps(dict))  #str  #将dictjson序列化成str
print(type(json.dumps(dict)))
print(json.loads(json.dumps(dict)))
print(type(json.loads(json.dumps(dict))))#将json.dumps(dict)序列化回dict
在这里插入图片描述
在这里插入图片描述

更新时间:20190107 解决pickle 报错TypeError: can’t pickle _thread.lock objects

查看原因后发现:模型调用了4个threads ,也就是说4个小线程导致报错,没有找到设置参数,

在这里插入图片描述
在这里插入图片描述

后来查看发现, 进程池内部处理使用了pickle模块(用于python特有的类型和python的数据类型间进行转换)中的dump(obj, file, protocol=None,)方法对参数进行了封装处理.

于是最后使用使用joblib解决, joblib更适合大数据量的模型,且只能往硬盘存储,不能往字符串存储

代码语言:javascript
复制
from sklearn.externals import joblib
joblib.dump(clf,'filename.pkl')
clf=joblib.load('filename.pkl')
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017年10月14日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档