python之chardet库

机器学习和大数据挖掘

发布于 2019-07-02 10:45:46

6610

发布于 2019-07-02 10:45:46

chardet库是python的字符编码检测器，能够检测出各种编码的类型，例如：

1 import chardet
2 import urllib.request
3 
4 testdata = urllib.request.urlopen('http://m2.cn.bing.com/').read()
5 print(chardet.detect(testdata))

运行结果：

{'confidence': 0.99, 'encoding': 'utf-8'}

翻译一下就是：

{'精准度': 99%, 'encoding(编码形式)': 'utf-8'}

没见识到这个库之前所有编码纯属自己的记忆：

# unicode_escape
\u4e2d\u56fd
# gbk或者utf-8
\xd6\xd0\xb9\xfa
中国
# urlencode
%e4%b8%ad%e5%9b%bd
# Gb2312
%d6%d0%b9%fa

这些编码纯属需要眼睛辨认再去网上查找编码

现在发现了chardet这个库后方便了很多　　

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2016-08-29 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度