内容提取神器 beautiful Soup 的用法

上篇文章只是简单讲述正则表达式如何读懂以及 re 常见的函数的用法。我们可能读懂别人的正则表达式,但是要自己写起正则表达式的话,可能会陷入如何写的困境。正则表达式写起来费劲又出错率高,那么有没有替代方案呢?俗话说得好,条条道路通罗马。目前还两种代替其的办法,一种是使用 Xpath 神器,另一种就是本文要讲的 BeautifulSoup。

1 BeautifulSoup 简介

引用 BeautifulSoup 官网的说明:

Beautiful Soup is a Python library for pulling data out of HTML and XML files. It works with your favorite parser to provide idiomatic ways of navigating, searching, and modifying the parse tree. It commonly saves programmers hours or days of work.

大致意思如下: BeautifulSoup 是一个能从 HTML 或 XML 文件中提取数据的 Python 库。它能通过自己定义的解析器来提供导航、搜索,甚至改变解析树。它的出现,会大大节省开发者的时间。

2 安装 BeautifulSoup

目前 BeautifulSoup 最新版本是 4.6.0,它是支持 Python3的。所以可以大胆去升级安装使用。

安装方法有两种:

  • 使用pip 比较推荐使用这种方式,既简单又方便管理。
  • 使用easy_install
  • 使用系统包管理

3 初始 BeautifulSoup

首先导入 BeautifulSoup 库,然后创建一个 BeautifulSoup 对象,再利用对象做文章。 具体参考示例代码:

上面代码中,response 可以urlllib或者request请求返回的内容,也可以是本地 HTML 文本。如果要打开本地,代码需要改为

soup.prettify()函数的作用是打印整个 html 文件的 dom 树,例如上面执行结果如下:

4 解析 BeautifulSoup 对象

想从 html 中获取到自己所想要的内容,我归纳出三种办法:

1)利用 Tag 对象

从上文得知,BeautifulSoup 将复杂 HTML 文档转换成一个复杂的树形结构,每个节点都是Python对象。跟安卓中的Gson库有异曲同工之妙。节点对象可以分为 4 种:Tag, NavigableString, BeautifulSoup, Comment

Tag 对象可以看成 HTML 中的标签。这样说,你大概明白具体是怎么回事。我们再通过例子来更加深入了解 Tag 对象。以下代码是以 prettify() 打印的结果为前提。

  • 例子1

获取head标签内容

  • 例子2

获取title标签内容

  • 例子3

获取p标签内容

如果 Tag 对象要获取的标签有多个的话,它只会返回所以内容中第一个符合要求的标签。

对象一般含有属性,Tag 对象也不例外。它具有两个非常重要的属性, nameattrs

name name 属性是 Tag 对象的标签名。不过也有特殊的,soup 对象的 name 是 [document]

attrs attrs 属性是 Tag 对象所包含的属性值,它是一个字典类型。

其他三个属性也顺带介绍下:

  • NavigableString

说白了就是:Tag 对象里面的内容

  • BeautifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象。它是一个特殊的 Tag。

  • Comment

Comment 对象是一个特殊类型的 NavigableString 对象。如果 HTML 页面中含有注释及特殊字符串的内容。而那些内容不是我们想要的,所以我们在使用前最好做下类型判断。例如:

2)利用过滤器

过滤器其实是一个find_all()函数, 它会将所有符合条件的内容以列表形式返回。它的构造方法如下:

name 参数可以有多种写法:

  • (1)节点名
  • (2)正则表达式
  • (3)列表 如果参数为列表,过滤标准为列表中的所有元素。看下具体代码,你就会一目了然了。

另外 attrs 参数可以也作为过滤条件来获取内容,而 limit 参数是限制返回的条数。

3)利用 CSS 选择器

以 CSS 语法为匹配标准找到 Tag。同样也是使用到一个函数,该函数为select(),返回类型也是 list。它的具体用法如下, 同样以 prettify() 打印的结果为前提:

  • (1)通过 tag 标签查找
  • (2)通过 id 查找
  • (3)通过 class 查找
  • (4)通过属性查找
  • (5)组合查找

5 处理上下关系

从上文可知,我们已经能获取到节点对象,但有时候需要获取其父节点或者子节点的内容,我们要怎么做了?这就需要对parse tree进行遍历

(1)获取子节点 利用.children属性,该属性会返回当前节点所以的子节点。但是它返回的类型不是列表,而是迭代器

(2)获取所有子孙节点 使用.descendants属性,它会返回所有子孙节点的迭代器

(3)获取父节点 通过.parent属性可以获得所有子孙节点的迭代器

(4)获取所有父节点 .parents属性,也是返回所有子孙节点的迭代器

(5)获取兄弟节点 兄弟节点可以理解为和本节点处在统一级的节点,.next_sibling属性获取了该节点的下一个兄弟节点,.previous_sibling则与之相反,如果节点不存在,则返回 None

注意:实际 HTML 中的 tag 的.next_sibling.previous_sibling属性通常是字符串或空白,因为空白或者换行也可以被视作一个节点,所以得到的结果可能是空白或者换行

(5)获取所有兄弟节点 通过.next_siblings.previous_siblings属性可以对当前节点的兄弟节点迭代输出

推荐:详解 python3 urllib

上文:Python 正则表达式

作者:猴哥,公众号:极客猴。爱好读书,喜欢钻研技术,梦想成为文艺青年的IT Boy。

- END -

原文发布于微信公众号 - 极客猴(Geek_monkey)

原文发表时间:2017-07-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏GopherCoder

『Go 语言学习专栏』-- 第三期

1393
来自专栏前端迷

[译]JavaScript ES6  让我们写得少,做得多

JavaScript ES6 带来了新的语法和新的强大功能,使代码更现代,更易读。它允许您编写更少的代码并执行更多操作。 ES6 向我们介绍了许多强大的功能,如...

901
来自专栏coding

Linux笔记5.展开与引用

1344
来自专栏C语言及其他语言

【每日一题】问题 1073: 弟弟的作业

你的弟弟刚做完了“100以内数的加减法”这部分的作业,请你帮他检查一下。每道题目(包括弟弟的答案)的格式为a+b=c或者a-b=c,其中a和b是作业中给出的,均...

1023
来自专栏机器学习算法与Python学习

Python最简编码规范

2016
来自专栏Ryan Miao

velocity的一些用法

velocity模板其实就是java不分语法的翻译,用到的属性还是java的方法,get,set,等 1.截取部分字段substring 1 原始字符串:$!a...

35611
来自专栏nimomeng的自我进阶

《Objective-C基础教程》笔记

1.xcode中,oc的.m文件代表message,指的是Objective-C的一个主要特性。 2.NS前缀的来历要追溯到次公局包还被成为NextStep,...

792
来自专栏CRPER折腾记

Typescript 2+迷你书 :从入门到不放弃

众所周知:JS中有这么几种类型的数据: Symbol,boolean,Number,Object[Array在js中也属于对象],undefind,null,S...

1441
来自专栏IMWeb前端团队

走进Sass殿堂

最近在学习sass,从sass新手的角度做一个简单的总结,总结的不对的地方期望各位大大们能多多指点,本文是针对sass3.4做的一个总结~ 一、变量篇 1.1 ...

19310
来自专栏编程

这或许是对小白最友好的python入门了吧——2,变量和字符串

长期以来,编程界都认为刚接触一门新语言时,如果首先使用它来编写一个在屏幕上显示消息 “Hello world!” 的程序,将给你带来好运。 在Python中我...

2016

扫码关注云+社区

领取腾讯云代金券