Python优雅地dumps非标准类型

專 欄

正小歪,Python 工程师,主要负责 Web 开发和日志数据处理。博客文章《真正的 Tornado 异步非阻塞》、《使用 JWT 让你的 RESTful API 更安全》等多次入选知名技术社区每日精选。《使用 Shipyard 搭建 Docker 集群》被选入 Dockerone 周报。

个人博客: https://www.hexiangyu.me

GitHub: https://github.com/zhengxiaowai

在用Python编程时很经常做的一件事就是 Python 数据类型和 JSON 数据类型的转换。

但是存在一个明显的问题,JSON 作为一种数据交换格式有固定的数据类型,但是 Python 作为编程语言除了内置的数据类型以外还能编写自定义的数据类型。

墙裂推荐:去看看 JSON 官网对 JSON 的介绍:http://www.json.org/json-zh.html

比如你肯定遇到过类似的问题:

那么问题就来了,如何把各种各样的 Python 数据类型转化成 JSON 数据类型。 一种很不 pythonic 的做法就是,先转换成某种能和 JSON 数据类型直接转换的值,然后在 dump,这么做很直接很暴力,但是在各种花式数据类型面前就很无力。

Google 是解决问题的重要方式之一,当你一顿搜索过后,你就会发现其实可以在 dumps 时 encode 这个阶段对数据进行转化。

所以你肯定是那么做的,完美地解决了问题。

JSON 的 Encode 过程

文中代码摘自 https://github.com/python/cpython 删除了几乎所有的 docstring,由于代码太长,直接截取了重要片段。可以在片段最上方的链接查看完整的代码。

熟悉 json 这个库的都知道基本只有4个常用的 API,分别是 dump、dumps 和 load、loads。

源码位于 cpython/Lib/json 中

直接看到最后的 return。可以发现如果不提供 cls 默认就使用 JSONEncoder,然后调用该类的实例方法 encode。

encode 方法也十分简单:

可以看出最后的我们得到 JSON 都是 chunks 拼接得到的,chunks 是调用 self.iterencode 方法得到的。

iterencode 方法比较长,我们只关心最后几行。

返回值 _iterencode,是函数中 c_make_encoder 或者 _make_iterencode这两个高阶函数的返回值。

c_make_encoder 是来自 _json 这个 module ,这个 module 是一个 c 模块,我们不去关心这个模块怎么实现的。 转去研究同等作用的 _make_iterencode 方法。

同样需要关心的只有返回的这个函数,代码里各种 if-elif-else 逐一把内置类型转换成 JSON 类型。 在对面无法识别的类型时候就使用了 _default() 这个方法,然后递归调用解析各个值。

_default 就是最前面那个被覆盖的 default

到这里就可以完全了解 Python 是如何 encode 成 JSON 数据。

总结一下流程,json.dumps() 调用 JSONEncoder 的实例方法 encode(),随后使用 iterencode() 递归转化各种类型,最后把 chunks 拼接成字符串后返回。

优雅的解决方案

通过前面的流程分析之后,知道为什么继承 JSONEncoder 然后覆盖 default 方法就可以完成自定义类型解析了。

也许你以后需要解析 datetime 类型数据,你可定会那么做:

最后调用父类是 default() 方法纯粹是为了触发异常。

Python 可以使用 singledispatch 来解决这种单泛型问题。

这种写法比较符合设计模式的规范。假如以后有了新的类型,不用再修改ExtendJSONEncoder 类,只需要添加适当的 singledispatch 方法就可以了, 比较 pythonic 。

如果你执意的想在类中添加 singledispatch 可以参考:https://stackoverflow.com/a/24602374/5227020 ,当然我仍然觉得还是不要写在类中比较好。

原文发布于微信公众号 - Python中文社区(python-china)

原文发表时间:2017-11-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏喔家ArchiSelf

一个函数的自白

我是——编程世界的函数,不是数学中的幂,指,对和三角函数等等,但是和f(x)又有着千丝万缕的关系。

14750
来自专栏Java架构师学习

十年Java”老兵“浅谈源码的七大设计模式

一个专业的程序员,总是把代码的清晰性,兼容性,可移植性放在很重要的位置。他们总是通过定义大量的宏,来增强代码的清晰度和可读性,而又不增加编译后的代码长度和代码...

377120
来自专栏進无尽的文章

设计模式| 行为型模式 (上)

行为型模式共十一种:策略模式、模板方法模式、观察者模式、迭代器模式、解释器模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式。 分两篇文...

17020
来自专栏Python专栏

Python | 改善Python程序的91个建议

自己写Python也有四五年了,一直是用自己的“强迫症”在维持自己代码的质量,除了Google的Python代码规范外,从来没有读过类似的书籍。偶然的机会看到这...

50230
来自专栏noteless

[零]java8 函数式编程入门官方文档中文版 java.util.stream 中文版 流处理的相关概念

https://docs.oracle.com/javase/8/docs/api/

37810
来自专栏java一日一条

java提高篇之异常(下)

Java确实给我们提供了非常多的异常,但是异常体系是不可能预见所有的希望加以报告的错误,所以Java允许我们自定义异常来表现程序中可能会遇到的特定问题,总之就是...

11030
来自专栏文渊之博

Python中对时间日期的处理方法简单汇总

这篇文章主要介绍了Python实用日期时间处理方法汇总,本文讲解了获取当前datetime、获取当天date、获取明天/前N天、获取当天开始和结束时间(00:0...

23170
来自专栏Android知识点总结

去吧!设计模式之模板方法模式

8020
来自专栏Python中文社区

Python中的协议 、鸭子类型 、 抽象基类 、混入类

本篇文章探讨一下python中的几个概念:协议 、鸭子类型 、 抽象基类 、混入类。

16220
来自专栏狮乐园

es6中的混合器模式

这是有关设计模式相关的第一篇文章,谈及设计模式,一般情况下呢,很多人马上就会说出很多关于它的东西,比如单例模式、策略模式等等。对于各个技术栈的工程师们,各种设计...

11130

扫码关注云+社区

领取腾讯云代金券