基于Scrapy的全球最大成人网站PornHub爬虫

声明：本项目旨在学习Scrapy爬虫框架和MongoDB数据库，不可使用于商业和个人其他意图。若使用不当，均由个人承担。

项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接

项目爬的是PornHub.com （需要翻墙），结构简单，速度飞快

爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络，所以相对慢一点。

10个线程同时请求，可达到如上速度。若个人网络环境更好，可启动更多线程来请求，具体配置方法见 [启动前配置]

start_requests 根据 PorbHub 的分类，启动了5个Request，同时对五个分类进行爬取。

并支持分页爬取数据，并加入到待爬队列。

使用说明

安装Scrapy

安装Python的依赖模块：pymongo、json、requests

根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

启动

python PornHub/quickstart.py

数据库说明

数据库中保存数据的表是 PhRes。以下是字段说明:

PhRes 表：

?

要想做老司机，先学好编程技术

六道：道友们，可否分享一下