Python爬虫入门(二)

上一篇文章大概的讲解了 Python 爬虫的基础架构,我们对 Python 爬虫内部运行流程有了一定的理解了,我们这节将用一些简单的 Python 代码实现Python 爬虫架构的 URL 管理器、网页下载器和网页解析器。

URL 管理器

上篇文章我们已经说了,URL 管理器是用来管理待抓取的 URL 和已抓取的 URL,作为一只聪明的爬虫,我们当然应该会选择跳过那些我们已经爬取过的 URL ,这不仅是为了防止重复抓取,也为了防止一些循环抓取的问题,URL 间的互相调用会导致爬虫的无限死循环抓取。

URL 管理器就是为了解决这些问题而存在的,有了它,我们的爬虫才会更加聪明,从而避免重复抓取和循环抓取。上面列出的就是 URL 管理器所要做的工作,根据这些职能,我们就可以总结出实现 URL 管理器的一个大体思路。

我们需要两个容器 A 和 B,A 用来存储待爬取的 URL,B 用来存储已爬取的 URL,管理器从 A 中获取 URL 来交付给网页下载器去处理,如果 A 中没有 URL 就等待,每当爬虫爬取到新的 URL 的时候,就将这个 URL 添加到 A 中排队等待爬取。爬取完一个 URL 后,就把这个 URL 存放到 B 中。爬虫的时候,如果获取到的 URL 在 A 中或者 B 中存在了,就跳过该 URL。流程图如下:

以上功能是 URL 管理器需要实现功能的最小功能集合,复杂的情况当然具备的功能也更多。我们来看一下简单的 URL 管理器内存实现代码。

class UrlManager(object):

   def __init__(self):
       self.new_urls = set()
       self.old_urls = set()

   def add_new_url(self,url):
       if url is None:
           return
       if url not in self.new_urls and url not in self.old_urls:
           #添加待爬取URL
           self.new_urls.add(url)
   
   def has_new_url(self):
       return len(self.new_urls) != 0

   def get_new_url(self):
       #获取并移除一个待爬取URL
       new_url = self.new_urls.pop()
       #将URL添加进已爬取URL
       self.old_urls.add(new_url)

上面的代码很简单,我们使用 Python 中的 Set 来作为容器管理 URL,因为它可以自动的进行去重处理而且内部的查询速度也是非常快速,所以很方便。获取待爬取 URL 的时候,我们使用 pop 方法,在获取一个元素的同时将它从 set 中移除出去,从而实现类似队列的排队形式。

这就是我们 URL 管理器的一个简单的实现方式了,虽然很简单,但基本功能思想已经包含在里面了。

网页下载器

网页下载器是将互联网上的 URL 对应的网页下载到本地的工具,当我们从 URL 管理器中获取到一个爬取 URL 的时候,我们只有将 URL 对应的网页下载到本地,才能继续后面的数据处理,所以网页下载器在爬虫架构中十分重要,是核心组件。

网页下载器的运行模式很简单,它可以将 URL 对应的网页以 HTML 的形式下载到本地,存储成一个本地文件或者以内存字符串的形式存储下来。总而言之就是下载一个静态网页文件,文件内容就是

这样的标签组成的 HTML 文件。

Python 中实现网页下载器有很多现成并且功能强大的库可供选择。urllib 是 Python 官方提供的基础模块,requests 是一个功能强大的第三方模块,我将使用 Python3 中的 urllib 作为演示。需要注意的是 urllib2 和 Python3 的 urllib 语法区别还是比较大的,大家权益好选择一个版本来进行学习。

#encoding:UTF-8
import urllib.request

url = "http://www.baidu.com"
data = urllib.request.urlopen(url).read()
data = data.decode('UTF-8')
print(data)

这是 urllib 最简单的使用方法,我们通过 urlopen 方法读取一个 URL,并调用 read 方法获取我们刚刚说到的 HTML 内存字符串,打印出来就是一堆标签格式的网页字符串了。

urlopen函数返回了一个HTTPResponse对象,这个对象挺有用的,是爬取请求的返回对象,我们可以通过它查看爬取 URL 请求的状态,还有一些对象信息等,比如 getcode 为 200 代表了网络请求成功。

>>> a = urllib.request.urlopen(full_url)

>>> a.geturl()
'http://www.baidu.com/s?word=Jecvay'

>>> type(a)
<class 'http.client.HTTPResponse'>

>>> a.info()
<http.client.HTTPMessage object at 0x03272250>

>>> a.getcode()
200

当然了,我们的网络请求的实际情况是比较复杂的,有时候你需要在请求中添加数据,或者更改一下 header,urllib 的 Request 对象可以满足这些需求。

import urllib.request

request = urllib.request.Request("http://www.baidu.com")
# 添加请求头
request.add_header('User-Agent', 'Mozilla/5.0')
# 添加数据
request.data = b"I am a data"

response = urllib.request.urlopen(request)

还有一些更加特殊的场景,比如有的网页需要 Cookie 处理,有的网页需要添加网页代理才能访问,有的网页需要输入账号密码验证,有的网页需要 HTTPS 协议才能访问。面对这些比较复杂的场景,urllib 提供了 Handler 这个强大的工具来处理这些需求。

不同的场景有不同的 Handler,比如处理 Cookie 使用 HTTPCookieProcessor ,处理网络代理可以使用 ProxyHandler,使用的时候,我们用 Handler 来构建一个 opener,然后用把 opener 安装到 request 上,这样再进行请求的时候,所安装的 Handler 就会起到处理特殊场景的作用。我们拿输入用户密码这种场景来举例:

import urllib.request
# 构建基础HTTP账号验证Handler
auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password(realm='PDQ Application',
                         uri='https://mahler:8092/site-updates.py',
                         user='klem',
                         passwd='kadidd!ehopper')
# Handler 构建 opener
opener = urllib.request.build_opener(auth_handler)
# 安装 opener
urllib.request.install_opener(opener)
urllib.request.urlopen('http://www.example.com/login.html')

我们利用多态构建了一个 HTTP 基本验证信息的 Handler,添加好相关的账号密码信息后,构建了一个 opener,并把 opener 安装到 request 上,在请求一个带有验证地址的时候,将会填充我们在 Handler 中填写的数据。

有关 urllib 的 API 大家可以参考 Python3 官方文档,文档写的清晰明了而且有官方的代码示例,我也阅读过文档,感觉 Python 官方的文档确实非常用心,很舒服。requests 这个第三方库大家可以自行了解下,刚开始学习的时候,实际上 urllib 基本能满足你的需求了。

网页解析器

网页下载器将网页下载到本地后,我们需要使用网页解析器从下载好的本地文件或者内存字符串中提取出我们需要的有价值信息。对于定向爬虫来说,我们需要从网页中提取两个数据,一个是我们需要的价值数据,另外就是该网页 URL 所能跳转的 URL 列表,这个列表我们将输入到 URL 管理器中进行处理。Python 中有以下几种方式可以实现网页解析器。

一个就是使用正则表达式,这个方式最为直观,我们将网页字符串通过正则的模糊匹配的方式,提取出我们需要的价值数据,这种方法虽然比较直观,但如果网页复杂,会比较麻烦。但我的建议,大家还是学一下正则表达式,这个毕竟是一门扛把子技术了,至少你得看得懂。

同时推荐大家另一款分析语言 XPATH,它是一门高效的分析语言,语法表达相比正则来说清晰简单,如果你掌握的好,基本可以替代正则,大家有兴趣可以搜索学习一下哦~

Python 还可以使用 html.parser,lxml,以及第三方库 BeautifulSoup 来进行网页解析。BeautifulSoup 本身包含了 html.parser 和 lxml,功能较为强大,它使用结构化解析来解析网页,结构化解析就是使用 DOM 树的方式进行上下级元素的遍历访问,从而达到解析和访问 HTML 文件的目的。一图理解

我们这里介绍下 BeautifulSoup,安装很简单,有好几种方法,最简单的方法就是使用命令 pip install beautifulsoup4 来安装,一些安装的流程和一些问题就不在这里多说了。

介绍下 BeautifulSoup 的使用方法,更加详细的 API 还是要看官方文档,而且 BS 的文档有友好的国人开发者在进行翻译,还是非常不错的~

使用 BS 的流程是,首先创建 BS 对象,传入对应的网页字符串,并指定相应的解析器(html.parser 或者 lxml),然后使用 find_all 或者 find 函数来进行搜索节点,最后通过获取到的节点访问对应的名称、属性或者文字,从而得到你想要的信息。

举个例子,现在有这样一个网页字符串信息:

<a href='123.html' class='article_link'> python </a>

在这段字符串里,节点的名称是 a,节点属性有 href='123.html' 和 class='article_link' 这两个,节点内容是 python。

有了这三个节点信息,我们就可以开始进行代码的编写了

from bs4 import BeautifulSoup

# 根据 HTML 网页字符串创建 BS 对象
soup = BeautifulSoup(
                    html_doc,            # HTML 字符串
                    'html.parser',       # HTML 解析器
                    from_encoding='utf8')# HTML 编码

# 查找所有标签为a的节点
soup.find_all('a')
# 查找所有便签为a,链接符合/view/123.htm形式的节点
soup.find_all('a',href='/view/123.htm')
# 查找所有标签为div,class为abc,文字为Python的节点
soup.find_all('div',class_='abc',string='Python')
# 使用正则表达式匹配
soup.find_all('a',href=re.compile(r'/view/\d+\.htm))

find_all 和 find 使用方法一致,只是 find_all 返回的是一个节点列表。注意到,find 方法是可以使用正则表达式进行模糊匹配的,这是它强大的地方,获取到节点 node,我们就可以很容易的获取到节点信息了。

# 得到节点:<a href='1.html'>Python</a>
# 获取节点标签名称
node.name
# 获取节点的href属性
node['href']
# 获取节点文字
node.get_text()

原文发布于微信公众号 - WeaponZhi(WeaponZhi)

原文发表时间:2018-01-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大内老A

ASP.NET Core应用针对静态文件请求的处理[3]: StaticFileMiddleware中间件如何处理针对文件请求

我们通过《以Web的形式发布静态文件》和《条件请求与区间请求》中的实例演示,以及上面针对条件请求和区间请求的介绍,从提供的功能和特性的角度对这个名为Static...

2715
来自专栏林德熙的博客

win10 UWP 序列化 BinaryXML序列化

将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间,对象将其当前状态写入到临时或持久性存储区。以后,可以通过从存储区中读取或反序列化对象的状态,重新...

572
来自专栏Pythonista

Django基础教程

URL配置(URLconf)就像Django 所支撑网站的目录。它的本质是URL与要为该URL调用的视图函数之间的映射表;你就是以这种方式告诉Django,对于...

1272
来自专栏向治洪

Mpg123源代码详解

Mpg123与libmad一样,支持mpeg1,2,2.5音频解码。目前来看mpg123比libmad支持了网络播放功能。而且libmad基本上开源社区在200...

1817
来自专栏LeoXu的博客

Tapestry 教程(五)实现Hi-Lo猜谜游戏

在这个游戏中,计算机会选择一个介于1到10之间的数字。你尝试猜出这个数字,点击一些链接。最后,计算器会告诉你确认目标数字你需要猜多少次。即使是像这样一个简单的示...

982
来自专栏NetCore

Asp.Net Core SignalR 用泛型Hub优雅的调用前端方法及传参

最近一直在使用Asp.Net Core SignalR(下面成SignalR Core)为小程序提供websocket支持,前端时间也发了一个学习笔记,在使用过...

1064
来自专栏Vamei实验室

被解放的姜戈03 所谓伊人

在之前的程序中,我们直接生成一个字符串,作为http回复,返回给客户端。这一过程中使用了django.http.HttpResponse()。 在这样的一种回复...

1888
来自专栏漏斗社区

反序列化| 我欲修仙,法力无边。

0x00 背景 最近都在写反序列化漏洞的知识,本着循序渐进的过程,本篇研究到了反序列化与POP CHAIN相关的知识。在探索这方面知识的过程中,请教了许多师傅...

3917
来自专栏斑斓

Spray中的Authentication和JMeter测试

Spray Authentication 在Spray中,如果需要对REST API添加认证,可以使用Spray提供的Authenticate功能。本质上,Au...

3499
来自专栏java架构师

解决ASP.NET中的各种乱码问题

经常发现有人被乱码困扰着,而我感觉比较幸运,很少为此烦恼过。 在这篇博客中,我将把我想到的一些与乱码有关的经验总结出来,供大家参考。 页面显示乱码问题 在一...

2926

扫码关注云+社区