利用requests和正则表达式抓取猫眼电影top100
利用requests和正则表达式抓取猫眼电影top100
前言
刚学了正则表达式，赶紧用它来练练手，以防搞忘了。这次练习的目标比较简单，就是爬取猫眼电影top100，具体包括电影排名，片名，主演，上映时间，评分等信息。最后存储为txt文件。和爬取豆瓣电影电影top250十分类似。
分析目标网页
打开目标URL：http://maoyan.com/board/4?offset=0，
点击下一页，我们会发现URL的参数offset=0变成了offset=10，
多翻几页，会发现offset是以10的倍数增长，从0增到90，每一页是十部电影信息，总共刚好100部。这样我们就可以通过构造参数offset来达到翻页抓取的效果。
构造正则表达式
点击右键-检查，查看网页源代码：
我们会发现每部电影的排名信息在<i>标签下属性值为board-index的标签中，我们可以写正则表达式来提取排名信息：
<dd>.*?board-index.*?>(.*?)</i>我们会发现每部电影的电影名称在<p>标签下，属性值为name的标签中，我们可以这样书写正则表达式来提取电影名称信息：
.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>由于电影名称在<p>标签下的<a>标签下中，这里为了以防匹配出错，最好还是将<a>标签中的一个属性值boarditem-click写在正则表达式中，以提高匹配的精确度。
然后主演在<p>标签下属性值为star`的标签中，接着写正则表达式来匹配主演信息：
.*?star.*?>(.*?)</p>然后电影的上映时间在<p>标签下属性值为releasetime的标签中，正则表达式如下：
.*?releasetime.*?>(.*?)</p>最后电影的评分在<i>标签下属性值分别为integer和fraction的两个<i>标签中，正则表达式如下：
.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>最后完整的正则表达式如下：
<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>然后就可以写代码了。
完整代码：
import requests
import re
import json
from requests.exceptions import RequestException
import time
def get_one_page(url):
"""单个网页的请求"""
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
}
# 这里要添加一个请求头，否则会访问网页失败
# 使用 RequestException可以捕捉所有的异常
try:
response = requests.get(url, headers = headers)
except RequestException:
return None
return response.text
time.sleep(2) # 休眠2秒钟
def parse_one_page(html):
"""解析单个网页"""
pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S)
# 使用re.findall方法搜索整个文档，匹配所有能够被匹配的信息
items = re.findall(pattern, html)
# 这里的items是一个列表，使用for循环来遍历
for item in items:
# 构造一个迭代器，按字典格式输出
yield{
'排名': item[0],
'片名 ': item[1],
'主演': item[2].strip()[3:],
'上映时间': item[3].strip()[5:],
'评分': item[4]+ item[5] # 将评分信息连接起来
}
def write_file(content):
"""写入文件"""
# 写入中文时，这里要指定参数encoding='utf-8'， 否则会出现乱码
with open('猫眼电影top100.txt', 'a', encoding='utf-8') as f:
# 使用json.dumps方法将字典格式的content转换为字符串格式
# 指定参数ensure_ascii=False,否则会出现中文乱码
# 末尾加一个换行符，每写入一条信息就换行一次
f.write(json.dumps(content, ensure_ascii=False) + '\n')
f.close()
def main(offset):
"""主函数，参数为offset，动态构造URL"""
url = 'http://maoyan.com/board/4?offset=' + str(offset)
html = get_one_page(url) # 调用请求函数
for item in parse_one_page(html): # 调用解析函数
# print(item)
write_file(item) # 调用写入文件函数
if __name__ == '__main__':
for i in range(10):
main(i*10) # 构造参数offset，达到翻页的效果。具体细节在注释中有相关的说明，最后我们看一下爬取结果：
你也可以试一试，如果遇到什么问题，欢迎共同讨论~
每天学习一点点，每天进步一点点。
推荐阅读：
一文读懂正则表达式的基本用法
requests库的基本用法