BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库,它的使用方式相对于正则来说更加的简单方便,常常能够节省我们大量的时间。
pip3 install beautifulsoup4
一图看懂BeautifulSoup的使用
tag对象可以说是BeautifulSoup中最为重要的对象,通过BeautifulSoup来提取数据基本都围绕着这个对象来进行操作。
每一个tag对象都有name属性,为标签的名字。
NavigableString的意思是可以遍历的字符串,一般被标签包裹在其中的的文本就是NavigableString格式。
在这里插入图片描述
BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象,是一个特殊的 Tag
Comment指的是在网页中的注释以及特殊字符串
title = soup.head.title(获取head标签下面的第一个title标签)
title = soup.p['title']
# string方法只能获取p标签的内容
string = suop.p.string
#通过get_text()方法我们可以获取p下所有的文本内容。
text = soup.p.get_text()
contents
可以获取某个节点所有的子节点,包括里面的NavigableString
对象。获取的子节点是列表格式。而通过children
同样的是获取某个节点的所有子节点,但是返回的是一个迭代器,这种方式会比列表格式更加的节省内存
contents
和children
获取的是某个节点的直接子节点,而无法获得子孙节点。通过descendants
可以获得所有子孙节点,返回的结果跟children
一样,需要迭代或者转类型使用。
有时我们也需要去获取某个节点的父节点,也就是包裹着当前节点的节点而使用parents
则可以获得当前节点递归到顶层的所有父辈元素。
兄弟节点指的就是父节点相同的节点。
next_sibling
和 previous_sibling
next_siblings
和 previous_siblings
parent
和parents
descendants
contents
和children
soup.find('a')
soup.find('a',title='')
soup.find('a',id='')
soup.find('a',class='')
soup.find_all('a')
soup.find_all(['a','p'])
soup.find_all('a',limit=2)
soup.find_all(attrs={'class': 'sister'})
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。
相比于BeautifulSoup,Xpath在提取数据时会更有效率。
pip3 install lxml
具体语法
具体语法
具体使用
用法(一)
用法(二)
用法(三)
result=html.xpath('//li[@class="item-0"]/text()')
爬取妹子图 网址:https://www.mzitu.com/
先给与全代码
Hostreferer = {
'User-Agent':'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
'Referer':'http://www.mzitu.com'
}
Picreferer = {
'User-Agent':'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
'Referer':'http://i.meizitu.net'
}
import requests
from lxml import etree
url = 'https://www.mzitu.com/page/{}'
def get_html(url):
response = requests.get(url,headers=Hostreferer)
html = response.text
page = etree.HTML(html)
title = page.xpath('//img[@class ="lazy"]/@alt')
img_urls =page.xpath('//img[@class ="lazy"]/@data-original')
print("正在爬取“)
return zip(title,img_urls)
def get_img(url):
for index, url in get_html(url):
with open('{}.jpg'.format(index), 'wb+') as f:
res = requests.get(url, headers=Picreferer)
f.write(res.content)
if __name__ == '__main__':
i = int(input('爬几页:'))
for j in range(1,i+1):
url = 'https://www.mzitu.com/page/{}'.format(j)
print('正在爬取第{}页'.format(j))
get_img(url)
这里有个坑:关于图片防盗链的,要加上Referer