理论学习都是枯燥的,我们学习了初步的网络编程后,再来了解一下爬虫吧,网络爬虫可以极大增强趣味性。
什么是网络爬虫?
网络爬虫又称为网络机器人,按照我个人的理解,网络爬虫就是通过编程手段,实现自动化访问网页,提取网页中我们感兴趣的信息的一种程序。
为什么用Python写爬虫?
编写爬虫的基本步骤
什么是
URI
、URL
、URN
?
URI
(Uniform Resource Identifier) 统一资源标识符URL
(Uniform Resource Location) 统一资源定位符URN
(Uniform Resource Name) 统一资源名称它们之间的关系如上图,大家主要关注的是URL
,简单理解,URL
就是网址。
爬虫需要实际演练,现在就让我们从一个最简单案例开始,我们爬一个妹子图网站,实现的功能就是使用Python代码全自动下载美女图片。
由于爬虫的实践性比较强,文末附本章录屏,请大家多多支持。
首先按照上述爬虫的编写步骤开始
https://www.mzitu.com 就是我们选取的目标网站
网络抓包有一些专业的工具,但对于我们网页爬虫来说,Chrome谷歌浏览器已经足够用了。
打开谷歌浏览器,按F12
打开开发者模式,然后使用谷歌浏览器打开目标网站,选择Network
选项卡
在这里插入图片描述
思路: 我们要使用Python脚本下载图片,首先要做的就是得到这些图片的URL链接,也就是网址,得到了图片网址后下载图片就是小意思了。
而我们使用谷歌浏览器开发者模式的目的,主要是两个
先来实现第一个目标,获取网页源码
在这里插入图片描述
什么是请求头?
看到浏览器开发者模式的右边窗口,Request Headers
下就是请求头的数据,它表示浏览器访问网站服务器时,携带的一些数据。我们爬虫的原理就是要伪装成浏览器去访问服务器,因此需要分析请求头,查看浏览器携带了什么特殊数据没有,浏览器携带了这些数据,我们爬虫也必须携带,否则不就露馅了吗,网站服务器很容易就发现我们不是浏览器在访问,它会拒绝为我们服务。
通常请求头中的user-agent
字段是我们必须要关注的,它是表示当前浏览器内核信息的字段,简单说就是我们的浏览器是什么牌子的。关于请求头、字段这些都是HTTP协议
中的内容,这里不深入讲解,要学会爬虫,必须学好HTTP协议
,否则一切都是空中楼阁,这里推荐《图解HTTP》这本书,有趣又简单,在本公众号交流群中已上传该书电子版。
我们今天要做的案例,没有什么难度,请求头信息也没有什么特别之处,请求头的分析到此为止。
为了学习简单,我们先安装两个python中的爬虫神器———requests
库和bs4
库
打开命令行,输入以下指令安装
1 python -m pip install requests
2 python -m pip install Beautifulsoup4
编写以下代码
1 import requests
2
3
4 BASE_URL = "https://www.mzitu.com"
5
6 # 将之前分析得到的User-Agent信息复制出来,组装成一个如下字典
7 HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0',
8 "Referer": "https://www.mzitu.com"}
9
10 resp = requests.get(BASE_URL, headers=HEADERS)
11 print(resp.text)
运行代码,成功输出网页HTML源代码,则表示我们成功实现第一个目标,获取网页源码。
鼠标右键选择网页中的一张图片,弹出菜单中选择【检查】
可以发现规律,所有图片都是HTML
中的img
标签,而图片的地址则是该标签中的data-original
属性的值,换句话说,只要获取网页中的所有包含data-original
属性的img
标签,就能获取图片地址。
要完成这个目标,就涉及到解析HTML
源码,而我们刚刚安装的Beautifulsoup4
库就是用来解析HTML
源码的。
1 import requests
2 # 导入BeautifulSoup
3 from bs4 import BeautifulSoup
4
5 # 目标网址
6 BASE_URL = "https://www.mzitu.com"
7
8 # 将之前分析得到的User-Agent信息复制出来,组装成一个如下字典
9 HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0',
10 "Referer": "https://www.mzitu.com"}
11
12 resp = requests.get(BASE_URL, headers=HEADERS)
13
14 # 创建BeautifulSoup对象,第一个参数传入网页源码,第二个指定解析器名字
15 bs = BeautifulSoup(resp.text, "html.parser")
16
17 # 提取网页中所有的包含data-original属性的img标签
18 for src in bs.select("img[data-original]"):
19 # 获取每个img标签的data-original属性值,这个值就是图片地址
20 print(src.attrs.get("data-original"))
运行以上代码,成功获取当前网页的所有图片地址
由于我们只是一个简单爬虫,就不需要数据持久化和数据分析了,下面说一说得到了图片地址,如何自动下载图片
下载实际上也是一种数据访问,仍然使用requests
库就可以了
1 # 定义一个下载函数,参数就是图片的地址
2 def download(url):
3 resp = requests.get(url, headers=HEADERS)
4 # 文件操作第一个参数是文件名,第二个参数是模式,这里wb是二进制写模式
5 with open(url.split("/")[-1], "wb") as file:
6 # 我们下载网页时使用resp.text,因为网页源码是字符串
7 # 图片则是二进制数据,所有使用resp.content,将该数据写入一个二进制文件即可
8 file.write(resp.content)
完整代码如下:
1 import requests
2 # 导入BeautifulSoup
3 from bs4 import BeautifulSoup
4
5 # 目标网址
6 BASE_URL = "https://www.mzitu.com"
7
8 # 将之前分析得到的User-Agent信息复制出来,组装成一个如下字典
9 HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0',
10 "Referer": "https://www.mzitu.com"}
11
12 # 定义一个下载函数,参数就是图片的地址
13 def download(url):
14 resp = requests.get(url, headers=HEADERS)
15
16 # 文件操作第一个参数是文件名,第二个参数是模式,这里wb是二进制写模式
17 with open(url.split("/")[-1], "wb") as file:
18 # 我们下载网页时使用resp.text,因为网页源码是字符串
19 # 图片则是二进制数据,所有使用resp.content,将该数据写入一个二进制文件即可
20 file.write(resp.content)
21
22 resp = requests.get(BASE_URL, headers=HEADERS)
23
24 # 创建BeautifulSoup对象,第一个参数传入网页源码,第二个指定解析器名字
25 bs = BeautifulSoup(resp.text, "html.parser")
26
27 # 提取网页中所有的包含data-original属性的img标签
28 for src in bs.select("img[data-original]"):
29 # 获取每个img标签的data-original属性值,这个值就是图片地址
30 pic_url = src.attrs.get("data-original")
31 print(pic_url)
32 download(pic_url)
运行代码,即可在脚本的当前目录下载妹子图。大家可能发现,该脚本只能下载当前网页第一页的图片,不能自动翻页下,关于翻页下载,见视频内容,是可以轻松做到想下几页就下几页。
视频地址: 链接:https://pan.baidu.com/s/1zZd1B3flM7zGjuiRGdDbFg 提取码:qzyq
1 import requests
2 # 导入BeautifulSoup
3 from bs4 import BeautifulSoup
4
5 # 目标网址
6 BASE_URL = "https://www.mzitu.com/page/%d/"
7
8
9 # 将之前分析得到的User-Agent信息复制出来,组装成一个如下字典
10 HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0',
11 "Referer": "https://www.mzitu.com"}
12
13 # 定义一个下载函数,参数就是图片的地址
14 def download(url):
15 resp = requests.get(url, headers=HEADERS)
16
17 # 文件操作第一个参数是文件名,第二个参数是模式,这里wb是二进制写模式
18 with open(url.split("/")[-1], "wb") as file:
19 # 我们下载网页时使用resp.text,因为网页源码是字符串
20 # 图片则是二进制数据,所有使用resp.content,将该数据写入一个二进制文件即可
21 file.write(resp.content)
22
23 # 提取每张妹子图的URL
24 def get_img_url(url):
25 resp = requests.get(url, headers=HEADERS)
26 img_src = []
27 if resp.status_code == 200:
28 bs = BeautifulSoup(resp.text, "lxml")
29 for src in bs.select("img[data-original]"):
30 img_src.append(src.attrs.get("data-original"))
31 else:
32 print(resp.status_code)
33 return img_src
34
35 # 生成网页每一页的URL,并开始爬取,参数为指定爬取多少页
36 def start(page):
37 for i in range(1, page+1):
38 url = BASE_URL % (i)
39 imgs = get_img_url(url)
40 for pic_url in imgs:
41 download(pic_url)
42
43 start(3)