BeautifulSoup的使用

参考资料地址:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id28

练习数据准备

获取个人简书首页的html页面,并写入一个html文件中:

说明:本来想用requests获取页面的html的,但是简书的反爬机制应该比较厉害,在headers中添加浏览器信息搞不定,所以选择了用selenium+phantomJS获取页面html。

如果想用requests可以试试如下方式:

BeautifulSoup学习

前面已经将一个html页面以beautifulsoup对象的格式保存在了index.html中,接下来将用这个html文件用作示例练习(PS:这个时候就不要去访问网站了,直接读取保存好的文件)。

1、对象的种类

要掌握BeautifulSoup中对象操作,需要了解html的结构:http://www.runoob.com/html/html-elements.html。

1.标签 tag

获得link标签的结果:

2.标签Tag有很多属性,比如:name和attributes。

3.Name:每个Tag都有名字,通过.name获取,比如:a、p、title等都是名字

结果:

4.属性Attributes:一个标签会包含多个属性,属性在开始标签中,tag中属性的操作方法与字典的操作方法一样,并且支持增删改查

结果:

5.多值属性:tag中的属性支持多值属性,常见的多值属性是class,多值属性的返回结果是列表

结果:

6.可遍历的字符串:字符串包含在tag内,通过.string获取,字符串的内容不能被编辑,只能通过replace_with()进行替换。

结果:

2、遍历文档树

遍历文档树可以获得文档中的子节点、父节点、兄弟节点等标签。

子节点:tag.name、tag.contents、tag.string、tag.strings、tag.stripped_strings等

父节点:tag.parent、tag.parents

兄弟节点:next_sibling、previous_sibling、next_siblings、previous_siblings

回退和前进:.next_elements、.previous_elements、next_element 和 .previous_element

1、子节点

要获取子节点,首先要分析子节点中的内容,一个tag标签中,通常会包含多个字符串或者多个其他的tag标签。由于字符串没有子节点,是不具备遍历属性的。

1)、获取所有的link标签:前面提到bsobj.link可以获取link标签信息,但是这种方式只能获取到第一条link信息,要获取文档中全部的link标签信息,可以用,返回的结果是一个列表。

2)、获取.contents和.children属性:

.contents:获取一个标签中的所有内容,以列表的格式输出。当然,由于contents中可能包含子节点信息,则所有的子节点信息都会在列表中输出。

结果:

.children:这是一个迭代器,可以对tag标签的子节点进行循环获取。比如,contents是获取到一个标签之间的所有内容,同一层级的多个子节点在contents中算作列表中的一个元素。此时,可以通过.children将子节点中的同一层级的标签进行分割。

结果:

3)、.descendants:获取子节点和子孙节点

.children和.contents只会包含tag的直接子节点,对直接子节点中的子孙节点不会分离出来。.descendants返回的结果是一个生成器。

结果:这个内容,相当于是span的子节点,.descendants会把它当成子孙节点处理,其他子孙节点标签同理。

4)、.string:获取NavigableString 类型子节点

当一个tag只有一个NavigableString 类型子节点时,可以采用.string获取,但是当有多个子节点时,.string无法得知获取哪一个,会直接返回None。

5)、.strings 和 stripped_strings:获取一组NavigableString 类型子节点

.strings获取的信息中,包含空行,stripped_strings可以去除前后所有的空行以及为空的内容

结果:

2、父节点

每个tag都会包含父节点,比如前面采用获取节点信息,body就是div的一个父节点。

1)、parent

结果:

2)、parents:通过元素的 .parents 属性可以递归得到元素的所有父辈节点

结果:

3、兄弟节点

标签处于同一层的节点,他们的父节点是同一个,这样的节点称为兄弟节点。

1)、.next_sibling 和 .previous_sibling 属性来查询兄弟节点,实际文档中的tag的 .next_sibling 和 .previous_sibling 属性通常是字符串或空白。

2)、.next_siblings 和 .previous_siblings:通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出。

结果:

4、回退和前进

让解析的属性指向上一个被解析对象或下一个被解析对象。

1)、.next_element 和 .previous_element:.next_element 属性指向解析过程中下一个被解析的对象(字符串或tag),结果可能与 .next_sibling 相同,但通常是不一样的。

结果:

2)、.next_elements 和 .previous_elements:通过 .next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容,就好像文档正在被解析一样

总结

本节学习了beautifulsoup的tag对象、遍历文档树的使用

通过查找子节点、父节点等信息,可以获取到想要的标签信息

通过获取标签信息的.name、.attrs等,可以获取精确的信息

后续继续学习搜索文档树

作者:乐大爷L

链接:https://www.jianshu.com/p/a0ff9f70e9a7

來源:简书

简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180620A0DQHI00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券