前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python 学习入门(31)—— 序列化

Python 学习入门(31)—— 序列化

作者头像
阳光岛主
发布2019-02-18 17:12:53
3610
发布2019-02-18 17:12:53
举报
文章被收录于专栏:米扑专栏

Python内置marshal, cPickle等序列化库,但cPickle效率不太理想,marshal文档也说不保证版本兼容性。今天在列表中看到几个第三方库,故自己测试下:

安装第三方库 tnetstring: sudo pip install tnetstring # 然后添加到PyDev应用库(Console 直接 import tnetstring)

测试脚本:

代码语言:javascript
复制
#!/usr/bin/env python

import sys, os, time
import cPickle
import marshal
import shelve
import tnetstring
import msgpack

def get_dict():
    d = {}
    for i in xrange(500000):
        d[i] = "abcd" * 10

    return d

import time, functools

def timeit(func):
    @functools.wraps(func)
    def __do__(*args, **kwargs):
        start = time.time()
        result = func(*args, **kwargs)
        print '%s used time %ss' % (func.__name__, time.time() - start)
        return result
    return __do__

@timeit
def marshal_dump(d):
    return marshal.dumps(d)

@timeit
def marshal_load(s):
    return marshal.loads(s)

def marshal_test(d):
    s = marshal_dump(d)
    marshal_load(s)

@timeit
def cPickle_dump(d):
    return cPickle.dumps(d, cPickle.HIGHEST_PROTOCOL)

@timeit
def cPickle_load(s):
    return cPickle.loads(s)

def cPickle_test(d):
    s = cPickle_dump(d)
    cPickle_load(s)

@timeit
def tnetstring_dump(d):
    return tnetstring.dumps(d)

@timeit
def tnetstring_load(s):
    return tnetstring.loads(s)

def tnetstring_test(d):
    s = tnetstring_dump(d)
    tnetstring_load(s)

@timeit
def msgpack_dump(d):
    return msgpack.packb(d)

@timeit
def msgpack_load(s):
    return msgpack.unpackb(s)

def msgpack_test(d):
    s = msgpack_dump(d)
    msgpack_load(s)

def main():
    d = get_dict()
    marshal_test(d)
    cPickle_test(d)
    tnetstring_test(d)
    msgpack_test(d)

if __name__ == "__main__":
    main()

运行结果:

marshal_dump used time 0.0640780925751s marshal_load used time 0.0637950897217s cPickle_dump used time 0.0497329235077s cPickle_load used time 0.0702350139618s tnetstring_dump used time 0.0855898857117s tnetstring_load used time 0.0689609050751s msgpack_dump used time 0.0564160346985s msgpack_load used time 0.0650169849396s

结论:

  • cPickle序列化采用了marshal,反序列化采用了pickle,所以速度优化了很多(订正)
  • marshal虽然有不兼容隐患,但如果能保证相同的Python版本,还是可以一用
  • tnetstring无论序列化或反序列化速度都比较中庸
  • msgpack反序列化最快,如果读多写少的应用场景是最佳选择。而且msgpack支持多语言。

参考推荐:

pickle, cPickle 对象序列化/反序列化

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2013年12月21日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档