新手也能做爬虫！我们一起来爬电影网站吧

第二篇练手的东西来了，当然这里的电影信息并不是那些评论或者评分什么的，今天咱们来试试直接爬电影链接！

老规矩，先选定目标，然后分析。

这里我们选择电影天堂网，毕竟都是高清的。url='https://www.dy2018.com/'

那么多的分类，我们先试试最新电影，点击更多，然后就打开了电影列表

一页有25篇电影，包括影片名字和简介，点击进去后就是每一篇影片的具体说明，下方有下载地址，这就好办了，不多说，开始写代码吧，这里小编用的是Python3.6版本。

这次我们用Python的xpath来抓取我们需要的内容，先导入模块：requests。因为xpath是lxml库的一个方法，所以需要用“from lxml import etree"来导入，没有安装的小伙伴可以用'pip install lxml'来安装。

我们先定义一个函数，用requests来获取网页源代码，同时把头部信息加入：

注意网页用的编码格式是gb2312，不写会出乱码哦。

找到url，并查看url的翻页方式，这里就不在源码里查找翻页了，直接拉下面找到页数。

然后写入循环，开始查找每一个电影的页面url，直接上代码：

结果如下：

然后再次循环，并拼接网址：

就得到了每页电影的url，结果如下：

然后解析网址，开始查找我们需要的内容，标题、下载地址

标题是唯一的，所以取出列表后，直接取第一个元素。下载地址一般是有2个，需要分别取出，然后分别写入txt文件

最终结果：

ok~完工！可以直接把喜欢的电影的url复制到其他软件下载了，当然这里也可以继续找到简介、评分、主演等等内容爬下来保存，就交给小伙伴自己研究吧。完整代码截图：

喜欢就关注一波呗（^_^）,想和小编一起学习Python的，或者想要源代码的，都可以私信小编哦。