作者:崔笑颜
给大家演示下关于python爬取猫眼电影TOP100榜相关信息的实例,包含电影排名,电影名称,主演,上映时间,评分等信息,及讲解下爬取过程中遇到的相关知识点。
话不多说,直接上代码,欢迎指正:
import requests
import re
import csv,time
#创建一个保存的csv文件并设置好表头
timenow =time.strftime("%Y-%m-%d-%H%M%S", time.localtime())
file = '猫眼电影top100榜-%s.csv'% (timenow)
#写入表头
with open(file,'a+',encoding='gb18030', newline='') as f:
writer_f = csv.writer(f)
writer_f.writerow(['排名','电影名称','主演','上映时间','评分'])
#定义一个爬取其中一页的电影信息
def get_one_page(url):
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36'}
response=requests.get(url,headers=headers).text
pattern=re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
items=re.findall(pattern,response)
#print(items)
for item in items:
pm=item[0]#电影排名
mc=item[1]#电影名称
zy=item[2].strip()#演员
sj=item[3]#上映时间
pf=item[4]+item[5]#评分
print(pm,mc,zy,sj,pf)
#写入到csv文件
with open(file,'a+',encoding='gb18030',newline='') as f:
writer = csv.writer(f)
writer.writerow([pm,mc,zy,sj,pf])
#共有10个分页,分批写入
for i in range(10):
page=i*10
url='https://maoyan.com/board/4?offset=' + str(page)
get_one_page(url)
#time.sleep(1)
print('下载完成!')
爬取结果:
知识点讲解: 这次爬取用到的是requests模块,重点在于电影排名,电影名称,主演,上映时间,评分的提取,查看源代码如下:
我这里用的是正则表达式来匹配,匹配代码如下:
'<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>'
利用compile()方法将上面的正则字符串编译成正则表达式对象,再用findall()找到目标数据。
pattern=re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
items=re.findall(pattern,response)
最后取下一页的数据,总共10页,我们发现每页的网址规律如下: 第一页:https://maoyan.com/board/4?offset=0 第二页:https://maoyan.com/board/4?offset=10 第三页:https://maoyan.com/board/4?offset=20 … 代码如下,分页写入数据:
for i in range(10):
page=i*10
url='https://maoyan.com/board/4?offset=' + str(page)
get_one_page(url)