使用 Beautiful Soup 解析网页内容

安装Beautiful Soup

Beautiful Soup是一个Python的HTML解析框架,我们可以利用它方便的处理HTML和XML文档。Beautiful Soup有3和4两个版本,目前3已经停止开发。所以我们当然还是学习最新的Beautiful Soup 4.

首先第一件事情就是利用pip安装Beautiful Soup。我们使用下面的命令。

pip install beautifulsoup4

稍等片刻之后Beautiful Soup就安装好了。这样,我们就可以开始使用它了。如果需要详细文档的话可以参考Beautiful Soup中文文档,这是难得的不是机翻的文档。

解析文档

获取文档

Beautiful Soup只是一个HTML解析库,所以我们如果想解析网上的内容,第一件事情就是把它下载下来。对于不同的网站,可能会对请求进行过滤。糗事百科的网站就对没有UA的请求直接拒绝掉。所以如果我们要爬这样的网站,首先需要把请求伪装成浏览器的样子。具体网站具体分析,经过我测试,糗事百科只要设置了UA就可以爬到内容,对于其他网站,你需要测试一下才能确定什么设置能管用。

有了Request对象还不行,还需要实际发起请求才行。下面代码的最后一句就使用了Python3的urllib库发起了一个请求。urlopen(req)方法返回的是Reponse对象,我们调用它的read()函数获取整个结果字符串。最后调用decode('utf-8')方法将它解码为最终结果,如果不调用这一步,汉字等非ASCII字符就会变成\xXXX这样的转义字符。

import urllib.request as request

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
headers = {'User-Agent': user_agent}
req = request.Request('http://www.qiushibaike.com/', headers=headers)

page = request.urlopen(req).read().decode('utf-8')

查询和遍历方法

有了文档字符串,我们就可以开始解析文档了。第一步是建立BeautifulSoup对象,这个对象在bs4模块中。注意在建立对象的时候可以额外指定一个参数,作为实际的HTML解析器。解析器的值可以指定html.parser,这是内置的HTML解析器。更好的选择是使用下面的lxml解析器,不过它需要额外安装一下,我们使用pip install lxml就可以安装。

import bs4

soup = bs4.BeautifulSoup(page, "lxml")

有了BeautifulSoup对象,我们就可以开始解析了。首先先来介绍一下BeautifulSoup的对象种类,常用的有标签(bs4.element.Tag)以及文本(bs4.element.NavigableString)。还有注释等对象,不过不太常用,所以就不介绍了。在标签对象上,我们可以调用一些查找方法例如find_all等等,还有一些属性返回标签的父节点、兄弟节点、直接子节点、所有子节点等。在文本对象上,我们可以调用.string属性获取具体文本。

然后来说说BeautifulSoup的遍历方法。基本所有操作都需要通过BeautifulSoup对象来使用。使用方式主要有两种:一是直接引用属性,就是soup.title这样的,会返回第一个符合条件的节点;二是通过查找方法例如find_all这样的,传入查询条件来查找结果。

再来说说查询条件。查询条件可以是:字符串,会返回对应名称的节点;正则表达式,按照正则表达式匹配;列表,会返回所有匹配列表元素的节点;真值True,会返回所有标签节点,不会返回字符节点;方法,我们可以编写一个方法,按照自己的规则过滤,然后将该方法作为查询条件。本来还想写详细一点,但是由于有中文文档,所以我还是不写了。直接看关于查询的文档就好了。我还发现一篇不错的博文,大家可以参考一下,这篇博文介绍的更详细。

实际例子

爬取糗事百科段子

首先打开糗事百科网站,按F12打开开发人员工具,然后在旁边点击分离按钮把它变成独立窗口,然后切到元素标签并最大化窗口。然后点击那个鼠标按钮,再返回糗事百科页面,并点击一个段子,这样就可以查看段子在HTML文档的什么位置了。

首先分析一下HTML代码,然后我们就可以查找所需的内容了。这里需要说明一下,查询方法返回的是结果集,对结果集遍历可以得到标签或者文本对象。如果调用标签对象的.contents,会返回一个列表,列表内是标签、文本或注释对象。动态语言的优势就是使用灵活,缺点就是没有代码提示。虽然总共代码没几行,但是还是花了我一番功夫。

divs = soup.find_all('div', class_='article block untagged mb15')
for div in divs:
    links = div.find_all('a', href=re.compile(r'/article/\d*'), class_='contentHerf')
    for link in links:
        contents = link.span.contents
        contents = [i for i in contents if not isinstance(i, bs4.element.Tag)]
        print(contents)

上面的代码会输出首页的所有段子。这样我们便实现了半个爬虫。为什么是半个呢?因为一个完整的爬虫可以爬取多个页面,为了简便这里只爬首页,所以只能算半个爬虫。不过如果你想爬取多个页面,代码稍加修改即可实现。

百度贴吧楼层

本来还想写一个爬取百度贴吧楼层的爬虫。但是一看百度贴吧的HTML代码,我感觉这个功能好像比较复杂,所以就不做了……喜欢挑战的同学可以试试看。

BeautifulSoup是一个HTML/XML 解析库,可以解析并修改HTML和XML文档。不过一般人都用它来解析网页实现爬虫。不过既然有中文文档,所以如果你想用它来操作XML文件,照着文档写就行了。这里就不作介绍了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏一个爱吃西瓜的程序员

Python爬虫实战-抓取《盗墓笔记》所有章节及链接

本次以一个盗墓笔记的小说阅读网(http://seputu.com)为例,抓取盗墓笔记的标题、章节名和链接,如下图 ? 前提: 这是一个静态网站,标题、章节都不...

2939
来自专栏数据之美

shell 学习笔记(18)

声明:转载需署名出处,严禁用于商业用途! 1701.大量连接处于 TIME_WAIT 状态的解决方法: netstat -nt 看到大量 TIME...

6066
来自专栏前端迷

JS引擎的执行机制event loop

(2) JS的Event Loop是JS的执行机制。深入了解JS的执行,就等于深入了解JS里的event loop

1244
来自专栏java一日一条

Vim 常用操作命令整理

2223
来自专栏数据之美

shell 学习笔记(16)

转载请注明出处: https://cloud.tencent.com/developer/user/1177713/activities 注:以前的1-15连载...

36010
来自专栏九彩拼盘的叨叨叨

在 Sublime 中使用 Vim 指南

Sublime 中自带支持 Vim 的插件,但默认是关闭的。开启方式为:在菜单 Preferences/Settings-User 中设置

962
来自专栏前端小叙

iview 下拉刷新loadTop报错解决

1572
来自专栏Youngxj

Chrome控制台console的基本用法

2085
来自专栏前端新视界

关于 devbridge-autocomplete 插件多选操作的实现方法

目前据我所知最好用的 autocomplete 插件就是 jquery-ui 的 autocomplete 以及 devbridge 的 autocomplet...

2098
来自专栏优启梦

Chrome控制台console的基本用法

大家都有用过各种类型的浏览器,每种浏览器都有自己的特色,本人拙见,在我用过的浏览器当中,我是最喜欢Chrome的,因为它对于调试脚本及前端设计调试都有它比其它浏...

46012

扫码关注云+社区

领取腾讯云代金券