python︱处理与使用json格式的数据（json/UltraJSON/Demjson）、pickle模块、yaml模块
python︱处理与使用json格式的数据（json/UltraJSON/Demjson）、pickle模块、yaml模块
python种关于json有很多，simplejson，cjson，还有ujson（详细内容可见：http://blog.csdn.net/gzlaiyonghao/article/details/6567408）. cjson模块只支持string/unicode的key JSON(JavaScript Object Notation)编码格式的数据。
- 1、变量解码、编码为Json格式
- 2、文件读出、导入json格式 注意： 使用json时需要注意的地方：python中字典的key在经过json转化后都变成了string类型
文章目录
1、变量解码、编码为Json格式
来看看py3，.dump的主函数：
json.dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)ensure_ascii比较关键，True代表显示为编码形式，这个一般在中文里面特别不好用，所以建议关掉。 indent代表缩进，sort_keys代表会否按照某些顺序排列
import json
data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
json_str = json.dumps(data) # 编码
json_str'{"price": 542.23, "shares": 100, "name": "ACME"}'data = json.loads(json_str) # 解码
data{'name': 'ACME', 'price': 542.23, 'shares': 100}2、文件读出、导入json格式
# Writing JSON data
with open('data.json', 'w') as f:
json.dump(data, f)
# Reading data back
with open('data.json', 'r') as f:
data = json.load(f)还有一种导入、导出的写法（限py3）：
open("myfile.json", "w", encoding="utf-8" ).write( json_data )
json_data = open("myfile.json", "r", encoding="utf8").read(). 3、其他用法
（1）分离器，用来分割。
>>> import json
>>> json.dumps([1,2,3,{'4': 5, '6': 7}], separators=(',', ':'))
'[1,2,3,{"4":5,"6":7}]'（2）缩进，更好看。
>>> import json
>>> print(json.dumps({'4': 5, '6': 7}, sort_keys=True, indent=4))
{
"4": 5,
"6": 7
}（3）与StringIO合用。
>>> import json
>>> json.loads('["foo", {"bar":["baz", null, 1.0, 2]}]')
['foo', {'bar': ['baz', None, 1.0, 2]}]
>>> json.loads('"\\"foo\\bar"')
'"foo\x08ar'
>>> from io import StringIO
>>> io = StringIO('["streaming API"]')
>>> json.load(io)
['streaming API']4 yaml数据格式的使用
load()
import yaml
yaml_str = """
name: 灰蓝
age: 0
job: Tester
"""
with open('user_info.yaml', encoding='utf-8') as file:
data = yaml.load(file) # 为列表类型结果：{‘job’: ‘Tester’, ‘age’: 0, ‘name’: u’\u7070\u84dd’}
dump()
import yaml
python_obj = {"name": u"灰蓝",
"age": 0,
"job": "Tester"
}
# 内容导出
with open('new_user_info.yaml', mode='w', encoding='utf-8') as file:
yaml.dump(python_obj, file)输出结果：
age: 0
job: Tester
name: "\u7070\u84DD"延伸一：python3中读保存成中文
发现在py3中保存成.json见很容易变成："{\"new\": [\"\u5927\u90fd\u4f1a\u827a\u672f\u535a\u7269\u9986\"
我想直接保存成中文。
with open('data.json', 'w') as f:
json.dump(json.dump(data,ensure_ascii = False), f)这段代码中ensure_ascii = False是可以在py3里面打印出中文，而不是编码形式的。但是保存不了。
需要以下的代码：
open('../../data.json', 'w').write(json.dumps(json_data,ensure_ascii = False))若依旧出现问题，报错：UnicodeEncodeError: 'gbk' codec can't encode character '\u02c6' in position 54928648: illegal multibyte sequence，可能还需要加上encoding选项，open('../../data.json', 'w',encoding='utf-8')
读入也可以用：
eval(open('../../data.json', "r").read()).read()读入为字符串的形式，eval可以把字符串变成原来的格式，也就是{}
网上还有用codecs库，好像也是不行的
import codecs
codecs.open('../../data.json', 'w', "utf-8") as f:
json.dumpDemjson
Demjson 是 python 的第三方模块库，可用于编码和解码 JSON 数据，包含了 JSONLint 的格式化及校验功能。
Github 地址：https://github.com/dmeranda/demjson 官方地址：http://deron.meranda.us/python/demjson/
- encode 将 Python 对象编码成 JSON 字符串
- decode 将已编码的 JSON 字符串解码为 Python 对象
import demjson
data = [ { 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 } ]
json = demjson.encode(data)
print(json)[{"a":1,"b":2,"c":3,"d":4,"e":5}]text = demjson.decode(json)
print (text)[{'c': 3, 'e': 5, 'b': 2, 'a': 1, 'd': 4}].
UltraJSON
https://github.com/esnme/ultrajson
>>> import ujson
>>> ujson.dumps([{"key": "value"}, 81, True])
'[{"key":"value"},81,true]'
>>> ujson.loads("""[{"key": "value"}, 81, true]""")
[{u'key': u'value'}, 81, True]编码encode_html_chars：
>>> ujson.dumps("<script>John&Doe", encode_html_chars=True)
'"\\u003cscript\\u003eJohn\\u0026Doe"'ensure_ascii： 将输出限制为ASCII，并将所有扩展字符转义为127以上。默认值为true。如果您的最终格式支持UTF-8设置此选项为false，强烈建议节省空间：
>>> ujson.dumps(u"\xe5\xe4\xf6")
'"\\u00e5\\u00e4\\u00f6"'
>>> ujson.dumps(u"\xe5\xe4\xf6", ensure_ascii=False)
'"\xc3\xa5\xc3\xa4\xc3\xb6"'escape_forward_slashes： 控制是否正斜杠（/）逃脱了。
>>> ujson.dumps("http://esn.me")
'"http:\/\/esn.me"'
>>> ujson.dumps("http://esn.me", escape_forward_slashes=False)
'"http://esn.me"'缩进indent：
>>> ujson.dumps({"foo": "bar"})
'{"foo":"bar"}'
>>> ujson.dumps({"foo": "bar"}, indent=4)
{
"foo":"bar"
}pickle模块
import pickle
pickle.dump(output,open('xxx.pkl','wb') )
pickle.load(open('../data/hist_data', 'rb'))还有使用pandas来直接导出dataframe：
In [34]: import pandas as pd
In [36]: import numpy as np
In [38]: df = pd.DataFrame(np.arange(20).reshape(4,5))
In [39]: df
Out[39]:
0 1 2 3 4
0 0 1 2 3 4
1 5 6 7 8 9
2 10 11 12 13 14
3 15 16 17 18 19
#使用DataFrame的to_pickle属性就可以生成pickle文件对数据进行永久储存
In [40]: df.to_pickle('foo.pkl')导入：
In [42]: pd.read_pickle('foo.pkl')
Out[42]:
0 1 2 3 4
0 0 1 2 3 4
1 5 6 7 8 9
2 10 11 12 13 14
3 15 16 17 18 19参考文献：
Python JSON Using demjson with Python 3 Python:读取和处理json数据 .
延伸：用json解析网页
使用urlopen方法打开网址后, 使用json.load(u)以文件方法来读取. 也可以先u.read().decode(‘utf-8’)读取转为字符串后再传给json.loads(str).
import urllib2,json
u=urllib2.urlopen("http://api.crossref.org/works/10.1021/jm0203783")
json.load(u)注意, 因为是文件形式, 读取一次后即到底, 不能再次调用json.load(u)获取内容.
使用requests，抓取json数据后, 可以直接使用相应对象的json()方法获得json数据, 也可以使用r.text调用字符串数据传递给json获取.
import json,requests
r=requests.get("http://api.crossref.org/works/10.1021/jm0203783")
r.json()
json.loads(r.text)报错：OverflowError: Maximum recursion level reached
>>> import ujson
>>> import numpy
>>>
>>> ujson.dumps(numpy.min([1,2]))
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
OverflowError: Maximum recursion level reached出现的报错，那么这里就是数值numpy有问题，需要改成Int即可