四、网页信息存储和 BeautifulSoup之find用法
网页信息存储和 BeautifulSoup之find用法
前言
在这一章会解决上一章结尾问题BeautifulSoup之find用法，并进入爬虫的第三个流程，信息存储。
一、BeautifulSoup之find用法
BeautifulSoup有find 和find_all的方法。但在使用之前一定要先建立一个beautifulsoup对象。
find
只返回第一个匹配到的对象 语法：
find(name, attrs, recursive, text, **wargs) name–查找标签 text–查找文本 attrs–基于attrs参数
find_all
返回所有匹配到的结果，区别于find（find只返回查找到的第一个结果） 语法：
find_all(name, attrs, recursive, text, limit, **kwargs)limit–限制 可以根据limit选择爬取的次数
find_all('span',limit=2)#获取span元素 但是只爬取两次具体使用示例
soup.find_all("title")#找到所有title
soup.find_all("p", "title")#找到所有<p>内的title
soup.find_all("a")
soup.find_all("span")
soup.find_all(id="content")#找到id为content的
soup.find_all(id=True) # 无论id是什么都可以也可以通过css样式进行搜索，就像上一章讲到的提取简介。
find('span',class_="absolute")二、网页信息存储
1.基础知识
在学习存储网页信息之前需要读者先学习python文件操作，如果没学过也没关系， 在这里我会讲解一些基础操作。已经学习过的读者可以跳过
打开文件
f = open("test.txt",'r')#两个参数 一个为文件名（带后缀）一个为模式#r 为只读 以只读模式打开test 如果test.txt不存在则报错
f.read(n) #一次读n个字符 如果没有传入n则读所有数据
f.readlines(n) #一次读一行如果没有传入n则一行一行把文件读完访问模式 | 说明 |
|---|---|
r | Read 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。 |
w | Write打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在创建新文件。 |
a | Add打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。 |
rb | Read bin以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。 |
wb | Write bin以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。 |
ab | Add bin以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。 |
r+ | Read+Write打开一个文件用于读写。文件指针将会放在文件的开头。 |
w+ | Write + Read打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。 |
a+ | Add+打开一个文件用于读写，如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果改文件不存在，创建新文件用于读写。 |
rb+ | 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头 |
wb+ | 以二进制格式打开一个文件用于读写。如果改文件已存在则会覆盖。如果改文件不存在，创建新文件。 |
ab+ | 以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。如果改文件不存在，创建新文件用于读写。 |
文件相关操作
import os#文件相关操作os模块import os
#重命名文件
os.rename("A","B") #重命名 把文件A名字改为B
#删除文件
os.remove("A") #把名字为A的文件删除
#创建文件夹
os.mkdir("name")#创建一个名字为name的文件夹
#获取当前目录
os.getcwd()
#改变默认目录
os.chdir("path")#把默认路径改为path 如../2.写入数据
这里还以第三章代码为例但是这次不仅打印结果而且存储结果
import requests #导入requests包
from bs4 import BeautifulSoup
url="https://www.bilibili.com/bangumi/play/ss22088/?from=search&seid=503303968644820581"#把bilibil的网址复制过来
req=requests.get(url)
req.encoding='utf-8'
soup=BeautifulSoup(req.text,'lxml')#使用BeautifulSoup的lxml解析网页
description=soup.find('span',class_="absolute").text.strip()
print(description)
t=open('spider_note.txt','w')#打开文件名为spider_note.txt的文件
#因为是以可写方式打开的，如果文件不存在则创建一个，不报错。
t.write(description)#写入
t.close()#关闭这样大家就可以看见与这个文件同一目录下多了一个名为spider_note.txt的文件 在运行后打开代码可以看见简介已经被写入
感谢
如有不周还望指正。 部分资料来源于书籍或者网络 在此表达由衷的感谢
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/184405.html原文链接：https://javaforall.cn
腾讯云开发者
