python突破爬虫动态网页障碍，爬取电影下载地址

还记得在之前一篇python开发电影查询系统（一）—python实现后台数据中，对电影的下载地址无法进行爬取，原因是下载地址在网页源码中无法查看，而是存放在js中，动态加载了。所以在爬取时，我在文章中写道

现在，我们找到了攻破他反爬的方法。下面我来详细介绍一下。

robobrowser库所做的事情就是模拟你真实的浏览器，并可加载动态js页面，从而爬取数据。是不是很牛逼啊。

一、robobrowser库的下载安装。

直接用python的pip安装即可

二、使用方法

安装完成后，使用help查看使用方法。

这里写图片描述

查看每个下载url的源码，借助css选择器，把url的selecter地址复制下来。

这里写图片描述

我们多复制几个看看

发现规律，所有下载地址的selecter地址中都有downlist ，所以我们会有下面代码中处理机制。