前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python新手写爬虫!尝试动态加载的电影网站爬虫

Python新手写爬虫!尝试动态加载的电影网站爬虫

作者头像
云飞
发布2018-09-13 16:50:17
1.4K0
发布2018-09-13 16:50:17
举报
文章被收录于专栏:云飞学编程云飞学编程

昨天小编写了个抓取电影下载链接的小爬虫《新手也能做爬虫!一起来爬电影信息吧》,然后有网友推荐小编爬取某动态加载的电影网站,尽管能力有限,小编还是去尝试了一下,分享给大家。

URL放上:gaoqing.fm,有兴趣的小伙伴也可以尝试下哦!

因为是动态加载的,所以url基本就没啥用了,我们直接使用浏览器的开发者工具查找真实网址(这个工作个人认为是整个过程中最难受的!),还好,这次很快就找到了

提取出来

http://gaoqing.fm/ajax.php?type=&country=&director=&actor=&year=&p=3&sort=

继续往后加载查找url,进行对比,查找规律

查找加载数据的时候,建议先清空,然后点击加载更多,这样新加载的就会出现,查找起来也方便一些哦!

再次找到url

http://gaoqing.fm/ajax.php?type=&country=&director=&actor=&year=&p=4&sort=

对比发现,&p=4&这里是控制页面加载页数的关键,然后就是写代码,导出,存盘的过程了,不啰嗦,直接上代码和结果,中间保存文件名的时候借鉴了网友的一段代码,大家感受一下!

各种清晰度的种子都已经到碗里了↖(▔▽▔)↗,慢慢观看吧!

最后, 推荐下小编的Python学习群5421107414,不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2018最新的Python和0基础入门教程,欢迎初学和进阶中的小伙伴。

点击链接即可加入python的大家庭哦!

点击链接加入群【python┮】:https://jq.qq.com/?_wv=1027&k=5fJftiQ

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-02-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 云飞学python 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云开发 CLI 工具
云开发 CLI 工具(Cloudbase CLI Devtools,CCLID)是云开发官方指定的 CLI 工具,可以帮助开发者快速构建 Serverless 应用。CLI 工具提供能力包括文件储存的管理、云函数的部署、模板项目的创建、HTTP Service、静态网站托管等,您可以专注于编码,无需在平台中切换各类配置。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档