程序解码错误-由python的requests.post 请求结果乱码引起的思考

原创

齐天小胜

发布于 2023-02-14 13:21:49

1.3K0

发布于 2023-02-14 13:21:49

最近，在使用python的requests.post的时候，不论结果如何处理，得到的都是乱码。代码如下：

import requests

headers = {
    "Accept-Encoding": "gzip, deflate, br",
}
param = '{"name":"tom"}'
resp = requests.post(url=url, data=param,headers=headers)
print(resp.content)
print(resp.text)

结果如图：

<\xe3\x80\xe13\x0c\xe5\xceS\xffL\xcd\xc5\x91\xe2V\xe5\xd1\x8d\x81\xfa\x00a\xb8\x0e7\xd2\xa5\xcbG\xf3@\xb1\x8d\xf4~\xcf\xad\xa3\x8c\x02\xea\xc1\xcdY\xe4p\xb39\xb9\xc1\xdb\xd7}\xa3\x02\x13\xa2\x84}"\xda\xcb\xd6\x8a\xba\xf4\x0c\xf6\xc4\xab\x18\x98\xadPg\xdc\xbd\xf3Wp\xa3\xb3pP\x91}y2\xe3\xf4U\x1b&\xd2u\xe3uW\xc4w\x1dL0\xd1\x97\xff\xd5N\xf1d\x87\xb7:\x9b=\xf0\r\x15\xceM\xf0)G\xee\xf9\xad\x15\xed\xfc\xbd\xca@\xadON\xdc\x14\xefyH\xa3KU\x87\xaf5#1\xf4\xff\xe3iE\xb7\xeat\xc5Lc\x8e\x0f`\x83\xbd\xe1\xec\xb8\xb1\x9b\xfa\x04A\xdf_\x88+\xe5A\xf2\xdbOmH;\xe0\xa3:\xac\xf9\xab\xc9`\x19\xbe\x92i;
�7� b0���������S0Yw�#"f�k���y�\ԓ�7�X����)u�!z�7��h�Ⱥ�1ޡ b0����4�J�w�th|b&�ɺ7"f�.�70�v�����E�"PB(�a27�ɘ��a��b21&��a

网上很多文章都说是编码的问题，比如修改编码：

resp.encoding='utf-8'
print(resp.text)
或者
print(resp.content.decode(encoding="utf-8"))

然而，问题依旧!!!!!

这时候，查看一下response返回结果的header信息

print(resp.headers)

看到的header信息如下：

{
'Date': 'Tue, 05 Feb 2023 12:31:52 GMT', 
'Content-Type': 'application/json; charset=UTF-8', 
'Transfer-Encoding': 'chunked', 
'Connection': 'keep-alive', 'Vary': 'Accept-Encoding',
 'Content-Encoding': 'br'
 }

里面的{'Content-Encoding': 'br'} 这个引起了我的注意。于是就查了一下br是个什么东东？？原来“br”是一种新的压缩算法，全称是Brotli。

我想，会不会是因为客户端不支持“br"这种算法导致的乱码呢？

于是，把requests.post的header修改了一下，把里面"br"算法删除，改为

headers = {
    "Accept-Encoding": "gzip, deflate",
}

然后再次运行，运行结果非常非常正常！果然是因为这个“br"算法导致的问题

问题原因

痛定思痛，捋一下思路，问题本身出在Content-Encoding与Accept-Encoding这2个header配置上面。

Content-Encoding与Accept-Encoding的说明

当设置压缩格式后，服务器会根据用户设置的压缩格式对页面进行压缩，节省http请求的流量。

当服务端接收到请求，并且从header里拿到编码标识时，就可以选择其中一种方式来进行编码压缩，然后返给客户端。当response的header里没有编码标识的话，客户端就不知道服务端是用的哪种方式压缩的，所以需要Content-Encoding来标识服务端压缩时所用的压缩方式。

简单的说：

Accept-Encoding：用来标识客户端能够理解的内容编码方式。
Content-Encoding：用来标识主体进行了何种方式的内容编码转换。

Accept-Encoding 是HTTP协议的请求报文头，一般形式如
"Accept-Encoding": "gzip, deflate, br"
其中：
　　gzip
　　deflate
　　br 　　 压缩算法 Brotli

Content-Encoding 是HTTP协议的响应报文头，一般形式如：
"Content-Encoding"："gzip,deflate,compress"
其中：
　　gzip　　表明实体采用GNU zip编码（使用最多）
　　compress 表明实体采用Unix的文件压缩程序
　　deflate　表明实体是用zlib的格式压缩的
　　identity　表明没有对实体进行编码。当没有Content-Encoding header时， 就默认为这种情况

到这里，问题就彻底明了了，因为Content-Encoding设置的是“br”算法，但是客户端不支持br算法，所以，导致了乱码的现象。

问题解决

简单的解决在请求的时候，把header的“br”算法删除掉
根本的解决undefined 如果非要保留br算法，python客户端应该怎么做呢？ python里有个“brotli”包，就是针对这个算法的

# 安装brotli
pip install Brotli

对response进行解码

import brotli
import requests

headers = {
    "Accept-Encoding": "gzip, deflate, br",
}
param = '{"name":"tom"}'
resp = requests.post(url=url, data=param,headers=headers)

resp = requests.post(url=url, data=param,headers=headers)
val = brotli.decompress(resp.content)
print(val)

大功告成！

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

html