python爬取猫眼电影TOP100榜
作者：崔笑颜
给大家演示下关于python爬取猫眼电影TOP100榜相关信息的实例，包含电影排名，电影名称，主演，上映时间，评分等信息，及讲解下爬取过程中遇到的相关知识点。
image.png
话不多说，直接上代码，欢迎指正：
import requests
import re
import csv,time
#创建一个保存的csv文件并设置好表头
timenow =time.strftime("%Y-%m-%d-%H%M%S", time.localtime())
file = '猫眼电影top100榜-%s.csv'% (timenow)
#写入表头
with open(file,'a+',encoding='gb18030', newline='') as f:
writer_f = csv.writer(f)
writer_f.writerow(['排名','电影名称','主演','上映时间','评分'])
#定义一个爬取其中一页的电影信息
def get_one_page(url):
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36'}
response=requests.get(url,headers=headers).text
pattern=re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
items=re.findall(pattern,response)
#print(items)
for item in items:
pm=item[0]#电影排名
mc=item[1]#电影名称
zy=item[2].strip()#演员
sj=item[3]#上映时间
pf=item[4]+item[5]#评分
print(pm,mc,zy,sj,pf)
#写入到csv文件
with open(file,'a+',encoding='gb18030',newline='') as f:
writer = csv.writer(f)
writer.writerow([pm,mc,zy,sj,pf])
#共有10个分页，分批写入
for i in range(10):
page=i*10
url='https://maoyan.com/board/4?offset=' + str(page)
get_one_page(url)
#time.sleep(1)
print('下载完成！')爬取结果：
image.png
知识点讲解： 这次爬取用到的是requests模块，重点在于电影排名，电影名称，主演，上映时间，评分的提取，查看源代码如下：
image.png
我这里用的是正则表达式来匹配，匹配代码如下：
'<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>'利用compile()方法将上面的正则字符串编译成正则表达式对象，再用findall()找到目标数据。
pattern=re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
items=re.findall(pattern,response)
image.png
最后取下一页的数据，总共10页，我们发现每页的网址规律如下： 第一页：https://maoyan.com/board/4?offset=0 第二页：https://maoyan.com/board/4?offset=10 第三页：https://maoyan.com/board/4?offset=20 … 代码如下，分页写入数据：
for i in range(10):
page=i*10
url='https://maoyan.com/board/4?offset=' + str(page)
get_one_page(url)本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020-07-10，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读