专栏首页python学习教程Python爬虫获取豆瓣电影并写入excel

Python爬虫获取豆瓣电影并写入excel

这篇文章主要介绍了Python爬虫获取豆瓣电影并写入excel ,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

豆瓣电影排行榜前250 分为10页,第一页的url为https://movie.douban.com/top250,但实际上应该是https://movie.douban.com/top250?start=0 后面的参数0表示从第几个开始,如0表示从第一(肖申克的救赎)到第二十五(触不可及),https://movie.douban.com/top250?start=25表示从第二十六(蝙蝠侠:黑暗骑士)到第五十名(死亡诗社)。等等,

所以可以用一个步长为25的range的for循环参数

复制代码 代码如下:

for i in range(0, 250, 25): print(i)

分析完页面组成后,开始获取页面,直接request.get()发现没有返回任何东西,输出一下响应码

url = 'https://movie.douban.com/top250?start=0'res = request.get(url=url)print(res.status_code)

发现返回响应码418

以前没见过这个,拉网线上网查一下,发现给get里面加一个header参数就行了

这里可以用自己浏览器的user-agent,如

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}

或者用fake_agent(安装直接用pip install fake_agent) 来为自己生成一个随机的agent添加到header字典中

from fake_useragent import UserAgentheaders = {'User-Agent': UserAgent().random}

之后就可以得到页面源码了。

然后使用lxml.etree,即xpath解析页面源码。用浏览器插件xpath finder快速定位到元素

import requestsimport lxml.etree as etreeurl = 'https://movie.douban.com/top250?start=0'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}res = requests.get(url=url, headers=headers)print(res.text) html = etree.HTML(res.text)name = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]")print(name)

但是直接这样子,解析到的是这样的结果

[<Element span at 0x20b2f0cc488>]

关于这东西是什么,有文章写的很好:https://www.jb51.net/article/132145.htm

这里我直接写解决部分,在使用xpath解析时,后面加上/text()

name = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]/text()")

解决后,再使用xpath finder插件,一步一步获取到电影所有数据

最后把这个写在函数里,外面再套上一开始说的循环,就OK了

# -*- coding: utf-8 -*- import requestsimport lxml.etree as etree  def get_source(page):url = 'https://movie.douban.com/top250?start={}'.format(page)headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}print(url)res = requests.get(url=url, headers=headers)print(res.status_code)html = etree.HTML(res.text)for i in range(1, 26):name = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[1]/a/span[1]/text()".format(i))info = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[1]/text()".format(i))score = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/div/span[2]/text()".format(i))slogan = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[2]/span/text()".format(i))print(name[0])print(info[0].replace(' ', ''))print(info[1].replace(' ', ''))print(score[0])print(slogan[0])  n = 1for i in range(0, 250, 25):print('第%d页' % n)n += 1get_source(i)print('==========================================')

在定位时,发现有4部电影介绍没有slogan,导致获取到的信息为空列表,也就导致了list.append()会出错。所以我加上了几个差错处理,解决方式可能有点傻,如果有更好的解决办法,洗耳恭听

代码在最后可以看到

EXCEL保存部分

这里我用的xlwt

book = xlwt.Workbook() sheet = book.add_sheet(u'sheetname', cell_overwrite_ok=True)

创建一个sheet表单。

数据保存到一个大列表中,列表嵌套列表

再通过循环把数据导入到excel表单中

r = 1for i in LIST: #有10页for j in i: #有25条数据c = 2for x in j: #有5组数据print(x)sheet.write(r, c, x)c += 1r += 1

最后在保存一下

book.save(r'douban.xls')

注意文件后缀要用xls,用xlsx会导致文件打不开

然后就大功告成了

打开文件,手动加入排名,等部分信息(这些也可以在程序里完成,我嫌麻烦,就没写,直接手动来的快)

前面的✓是我自己整的,用于记录那些看过,那些没看过

这也是我写这个东西的最初的目的

完整代码在下面,仅用于参考

# -*- coding: utf-8 -*- import requestsimport lxml.etree as etreeimport xlwt def get_source(page):List = []url = 'https://movie.douban.com/top250?start={}'.format(page)headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}print(url)res = requests.get(url=url, headers=headers)print(res.status_code)html = etree.HTML(res.text)for i in range(1, 26):list = []name = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[1]/a/span[1]/text()".format(i))info = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[1]/text()".format(i))score = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/div/span[2]/text()".format(i))slogan = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[2]/span/text()".format(i))try:list.append(name[0])except:list.append('----')try:list.append(info[0].replace(' ', '').replace('\n', ''))except:list.append('----')try:list.append(info[1].replace(' ', '').replace('\n', ''))except:list.append('----')try:list.append(score[0])except:list.append('----')try:list.append(slogan[0])except:list.append('----') List.append(list) return List  n = 1LIST = []for i in range(0, 250, 25):print('第{}页'.format(n))n += 1List = get_source(i)LIST.append(List)  def excel_write(LIST):book = xlwt.Workbook()sheet = book.add_sheet(u'sheetname', cell_overwrite_ok=True)r = 1for i in LIST: #有10页for j in i: #有25条数据c = 2for x in j: #有5组数据print(x)sheet.write(r, c, x)c += 1r += 1 book.save(r'douban1.xls') #保存代码excel_write(LIST)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜。

/今日留言主题/

随便说一两句吧~

本文分享自微信公众号 - python教程(pythonjc),作者:小雨

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-08-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python爬虫经典案例详解:爬取豆瓣电影top250写入Excel表格

    find_all('div',"info"),find是查找,find_all就是查找全部,查找什么呢?查找标记名是div并且class属性是info的全部元素...

    python学习教程
  • python爬虫学习,python抓取百度音乐mp3歌曲

    python抓取百度音乐mp3歌曲,目前成功率不是100%,因为我每首歌只抓一遍,没有去判断抓取成功情况和链接速度,还有我取得歌曲名称的方式也有点不合适,对歌曲...

    python学习教程
  • Python基础语法学习:标识符与保留字

    在编程语言中,我们需要用标识符来代指某个东西,这个东西可以是一个数据,可以是一个函数,一个类,那么与之对应的就是变量名,函数名,类名等概念。

    python学习教程
  • 零基础html5+div+css+js网页开发教程第006期 网页快速开发技巧

    上一节,我们学习了hbuilder的快速开发工具的简单实用,本机额,我们来介绍这个工具相关的快速开发技巧。

    刘金玉编程
  • 块级格式化上下文

    BFC块级格式化上下文Block Formatting Context,是Web页面的可视CSS渲染的一部分,是块盒子的布局过程发生的区域,也是浮动元素与其他元...

    WindrunnerMax
  • FLEX布局

    FLEX布局也称弹性布局,可以为盒状模型提供最大的灵活性,是布局的首选方案,现已得到所有现代浏览器的支持。

    WindrunnerMax
  • 前端知识复习(一)

    span不可以,img和video可以 span 属于行内非替换元素不能设置宽高,img, video 属于行内替换元素,可以设置宽高

    治电小白菜

扫码关注云+社区

领取腾讯云代金券