前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python爬虫之url中的中文问题

python爬虫之url中的中文问题

作者头像
py3study
发布2020-01-07 23:24:24
3.4K0
发布2020-01-07 23:24:24
举报
文章被收录于专栏:python3

在python的爬虫学习中,我们的url经常出现中文的问题, 我们想要访问的url就需要对url进行拼接,变成浏览器可以识别的url 在python中已经有了这样的模块了,这就是urlencode urlencode需要对中文和关键字组成一对字典,然后解析成我们的url

在python2中是 urllib.urlencode(keyword) 在Python中是 urllib.parse.urlencode(keyword)

查看一下代码: python2

代码语言:javascript
复制
import urllib
import  urllib2

#例如我们需要在百度上输入个关键字哈士奇进行查询,但是哈士奇是中文的,我们需要对哈士奇进行编码
keyword = {"wd":"哈士奇"}

head_url = "http://www.baidu.com/s"

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}

wd = urllib.urlencode(keyword)
url = head_url +"?"+ wd

req = urllib2.Request(url,headers=headers)

response = urllib2.urlopen(req)
html = response.read()
print(url)
print(html.count('哈士奇'))

结果如下:

python爬虫之url中的中文问题
python爬虫之url中的中文问题

在python3中:

代码语言:javascript
复制
# -*- coding: utf-8 -*-
# File  : url中出现的中文问题.py
# Author: HuXianyong
# Date  : 2018-09-13 17:39
from urllib import request
import urllib

#例如我们需要在百度上输入个关键字哈士奇进行查询,但是哈士奇是中文的,我们需要对哈士奇进行编码
keyword = {"wd":"哈士奇"}

head_url = "http://www.baidu.com/s"

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}

wd = urllib.parse.urlencode(keyword)
url = head_url +"?"+ wd

req = request.Request(url,headers=headers)

response = request.urlopen(req)
html = response.read()

print(html.decode().count("哈士奇"))

print(url)

结果如下:

python爬虫之url中的中文问题
python爬虫之url中的中文问题

如果需要吧转换的字符变成中文 可以用unquota

如下: python2

python爬虫之url中的中文问题
python爬虫之url中的中文问题
代码语言:javascript
复制
In [25]: dic = {"say":"你好!"}

In [26]: urllib.urlencode(dic)
Out[26]: 'say=%E4%BD%A0%E5%A5%BD%21'

In [27]: aa  = urllib.urlencode(dic)

In [28]: aa
Out[28]: 'say=%E4%BD%A0%E5%A5%BD%21'

In [29]: bb = urllib.unquote(aa)

In [30]: bb
Out[30]: 'say=\xe4\xbd\xa0\xe5\xa5\xbd!'

In [31]: print(bb)
say=你好!

python3

python爬虫之url中的中文问题
python爬虫之url中的中文问题
代码语言:javascript
复制
In [16]: dic = {"say":"你好!"}

In [17]: aa = urllib.parse.urlencode(dic)

In [18]: aa
Out[18]: 'say=%E4%BD%A0%E5%A5%BD%21'

In [19]: bb = urllib.parse.unquote(aa)

In [20]: bb
Out[20]: 'say=你好!'

但是如果我们的是post请求数据需要加在data里面这样就还需要对data做处理,不然会报字符串的错:

代码语言:javascript
复制
TypeError: POST data should be bytes or an iterable of bytes. It cannot be of type str.

这样的解决方法是需要加上个编码 data = urllib.parse.urlencode(formData).encode(encoding="UTF8")

python爬虫之url中的中文问题
python爬虫之url中的中文问题

代码如下:

代码语言:javascript
复制
# -*- coding: utf-8 -*-
# File  : Ajax爬取豆瓣电影列表.py
# Author: HuXianyong
# Date  : 2018-09-14 14:35

import urllib
from urllib import request

url = "https://movie.douban.com/j/new_search_subjects?"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}

formData = {
    "sort": "S",
    "range": "0,10",
    "tags": "电影,魔幻",
    "start": "0",
    "genres": "剧情"
}

data = urllib.parse.urlencode(formData).encode(encoding="UTF8")

req = request.Request(url=url,data=data,headers=headers)

response = request.urlopen(req)
move_info = response.read().decode()
print(response.read().decode())
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/09/13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档