Python爬虫从入门到精通（3）：BeautifulSoup用法总结及多线程爬虫爬取糗事百科

本文是Python爬虫从入门到精通系列的第3篇。我们将总结BeautifulSoup这个解析库以及常用的find和select方法。我们还会利用requests库和BeauitfulSoup来爬取糗事百科上的段子, 并对比下单线程爬虫和多线程爬虫的爬取效率。

什么是BeautifulSoup及如何安装

BeautifulSoup是一个解析HTML或XML文件的第三方库。HTML或XML文件可以用DOM模型解释，一般包含三种节点：

元素节点 - 通常指HTML或XML的标签(tag), 如title, p, a

文本节点 -标签内部的文本内容(string 或者text)

属性节点 -每个标签的属性(attribute)。

BeautifulSoup库可以对HTML或XML文件解析，查找到一个或多个标签元素(tag)，并获取每个标签里的文本和属性，这为我们python爬虫从html文本里提取所需要的内容提供了很大的便利。一个BeautifulSoup很好的特性是它接受一个str或byte对象后会对编码自动检测，并把当前文档编码并转换成Unicode编码，这样你就不用担心乱码问题了。

安装和使用只需要使用如下两个命令:

pipinstallbeautifulsoup4

frombs4importBeautifulSoup

我们还建议你安装lxml HTML解析库，比python自带的解析库html.parser更快。

pipinstalllxml

安装好BeautifulSoup对象后，你就可以创建soup对象，并开始后面的查找了。

soup = BeautifulSoup(html,"html.parser")

soup = BeautifulSoup(html,"lxml")

BeautifulSoup库的使用方法

BeautifulSoup对一个元素的查找主要有3中方法:

根据标签名直接查找 - 比如soup.title, soup.p，仅适用于查找单个元素

使用find和find_all方法 -根据标签名和属性对文档遍历查找提取一个或多个元素。

使用select方法 - 根据css样式选择器对文档进行遍历提取一个或多个元素

#根据tag直接获取元素

soup.p#获取p标签元素对象，只获取第一个

soup.p.name#获取p标签的名字，即'p"

soup.p.string#获取p标签元素内的文本

soup.p['class']#获取p标签元素的class属性

soup.p.get('class')#等同于上述案例

soup.a['href']#获取第一个a元素的href属性

# find_all方法。find方法类似，仅用于提取首个匹配元素

# find_all( name , attrs , recursive , text , **kwargs )

# name :要查找的标签名（字符串、正则、方法、True）

# attrs:标签的属性

# recursive:递归

# text:查找文本

# **kwargs :其它 键值参数

#因class是关键字，所以要写成class_="value",等同于attrs={"class":"value"}

soup.find_all('p')#以列表形式返回所有p标签

soup.find_all('p',attrs={"class":"sister"})#以列表形式返回所有class属性==sister的p标签

soup.find_all('p',class_="sister")#以列表形式返回所有class属性==sister的p标签

soup.find_all(id='link2')#返回所有id属性==link2的标签

soup.find_all(re.compile("^b"))#使用正则查找标签以b开头的元素

soup.find_all(href=re.compile("elsie"))#使用正则,返回所有href属性包含elsie的标签

soup.find_all(id="link1",href=re.compile('elsie'))# id=link1且href包含elsie的标签

# select方法 - css选择器

#注意select方法提取的元素均是列表形式，获取文本时注意加index

soup.select('p')#根据标签名查找所有p元素，等于soup.find_all('p')

soup.select('.sister')#通过css属性查找class=sister的标签

soup.select('#link1')#通过id查找所有id=#link1的元素

soup.select('p #link1')#组合查找id=#link11的p元素

soup.select("head > title")#查找head标签的子元素title

soup.select('a[class="sister"]')#查找所有属性为sister的a标签

soup.select('a[href="http://example.com/elsie"]')#查找href=xxx的a标签元素

soup.select('p')[].get_text()#获取首个p元素的文本

soup.select('a[href*=".com/el"]')[].attrs['href']#获取xxx.com的href

除了find()和find_all()之外还有一些非常有用的方法可用来搜索父子和兄弟节点。使用方法和find_all方法类似。

find_parent()

find_parents()

find_next_sibling()

find_next_siblings()

find_previous_sibling()

find_previous_siblings()

find_next()

find_previous()

find_all_next()

find_all_previous()

请注意select方法和find方法有如下区别，使用时请注意:

find方法返回的是单个元素，find_all方法返回的是一个元素列表，而select方法永远返回的是元素列表。如果你使用了select方法查找到了单个元素，别忘了先加列表索引[0]，然后才可以调用get_text()方法获取文本。

find方法还支持方法参数查询，比select方法更强大，如下所示:

defhas_class_no_id(tag):

returntag.has_attr("class")and nottag.has_attr("id")

soup.find_all(has_class_no_id)#支持方法参数

BeautifulSoup库的缺点

BeautifulSoup对元素的查找很人性化，便于阅读理解，不过缺点是速度较慢。一个更快的对元素进行查找的方法是XPATH，我们以后再讲解。BeautifulSoup对一般的爬虫项目已经够用，我们今天就来使用BeauitfulSoup来爬取糗事百科上的段子, 并对比下单线程爬虫和多线程爬虫的爬取效率。

对比单线程和多线程爬虫

我们分别写个单线程和多线程爬虫看看爬取糗事百科前10页的段子都需要多长时间。爬取结果写入txt文件。如果代码你看不全，请搜索csdn大江狗，看全文。

# 单线程爬虫

importrequests

frombs4importBeautifulSoup

importtime

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'

}

if__name__ =="__main__":

start = time.time()

f =open("qiushi01.txt","a",encoding='utf-8')

url_list = []

foriinrange(1,11):

url_list.append('https://www.qiushibaike.com/8hr/page/{}/'.format(i))

forurlinurl_list:

response = requests.get(url,headers=headers)

soup = BeautifulSoup(response.text,"html.parser")

div_list = soup.select('.article')

fordivindiv_list:

author = div.select('.author')[].select('h2')[].get_text()

content = div.select('.content')[].get_text()

f.write(author)

f.write(content)

f.close()

end = time.time()

print("下载完成.用时{}秒".format(end-start))

# 多线程爬虫

importrequests

frombs4importBeautifulSoup

importtime

importthreading

fromqueueimportQueue

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'

}

classMyThread(threading.Thread):

def__init__(self,name,queue,file):

super().__init__()

self.name = name

self.queue = queue

self.file = file

defrun(self):

print("启动{}".format(self.name))

while notself.queue.empty():

try:

url =self.queue.get()

response = requests.get(url,headers=headers)

self.parse(response.text)

except:

pass

print("结束{}".format(self.name))

defparse(self,html):

soup = BeautifulSoup(html,"html.parser")

div_list = soup.select('.article')

fordivindiv_list:

author = div.select('.author')[].select('h2')[].get_text()

content = div.select('.content')[].get_text()

self.file.write(author + content)

if__name__ =="__main__":

start = time.time()

f =open("qiushit10.txt","a",encoding='utf-8')

queue = Queue()

foriinrange(1,11):

queue.put('https://www.qiushibaike.com/8hr/page/{}/'.format(i))

thread1 = MyThread("线程1",queue,f)

thread2 = MyThread("线程2",queue,f)

thread1.start()

thread2.start()

thread1.join()

thread2.join()

f.close()

end = time.time()

print("下载完成.用时{}秒".format(end-start))

# 爬取结果

#单线程爬虫

(venv) C:\Users\MissEnka\PycharmProjects\spider>python qiushi.py

下载完成.用时3.873957872390747秒

#多线程爬虫

(venv) C:\Users\MissEnka\PycharmProjects\spider>python qiushit.py

启动线程1

启动线程2

结束线程2

结束线程1

下载完成.用时2.473332643508911秒

大江狗

2018.10