大牛教你用python批量爬取最新电影资源，看电影不再用会员

这是我们要下载的最新资源在这个页面：http://www.dy2018.com/html/gndy/dyzz/index.html

初步尝试

好了，我们新建个脚本文件叫 t.py:

import requests

import requests_cache

requests_cache.install_cache('demo_cache') # 为 requests 建立缓存，避免每次执行都去请求一次网页，造成时间浪费

# 把我们的爬虫伪装成浏览器，否则服务器会拒绝你的请求

headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',

}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)#python学习交流获取更多免费资料可加群308754087，Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库

print(html_doc)

在命令行运行一次 python t.py，我们就可以看到它输出了网页源码，第一步算是完成了。

提取列表页URL

然后我们会看到这样的界面：

红箭头所指就是本页所有电影标题都有的类名，待会我们就可以根据这个类名一次性提取出所有电影标题了，见代码：

import requests

import os

import requests_cache

from bs4 import BeautifulSoup

requests_cache.install_cache('demo_cache')

headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',

}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)

# print(html_doc)

soup = BeautifulSoup(html_doc, 'lxml')

links = []

for a in soup.select('.ulink'):

title = a.string

links.append(href)

print(href, title)

从列表页进入电影页，并提取下载链接

我们先鼠标点进电影页，然后通过检查元素（上一步有介绍），得到下载链接的元素选择器，当然这次的有点复杂，不像上一步那么直观，还需要自己推导，具体过程就不说了，直接给出结果：#Zoom table a

这一次在代码中，我们需要通过上一步获得的 links 数组分别进入每个电影页，然后拿到下载链接，部分代码如下：

注意：

注释1，由于 select() 的结果是一个数组，所以我们需要选择第一个元素

注释2，每次请求一次就让程序睡眠1~2秒，是为了不给对方服务器造成太大压力

再次执行 python t.py 就可以看到我们要的下载链接了：

......更多的就不贴出来了

当然上面那段代码直接拿去是执行不了的，

完整代码如下：

import requests

import os

import random

import time

import requests_cache

from bs4 import BeautifulSoup

requests_cache.install_cache('demo_cache')

headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',

}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)

# print(html_doc)

soup = BeautifulSoup(html_doc, 'lxml')

links = []

for a in soup.select('.ulink'):

title = a.string

links.append(href)

# print(href, title)

for link in links:

response = requests.get(link, headers=headers)

soup = BeautifulSoup(html_doc, 'lxml')

ftp_element = soup.select('#Zoom table a')[0]

download_link = ftp_element['href']

print(download_link)

time.sleep(random.randint(1, 2))