全球最大成人网站PornHub爬虫

概述

全球最大成人网站PornHub爬虫 （Scrapy、MongoDB） 一天500w的数据

1/项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接

2/项目爬的是PornHub.com，结构简单，速度飞快

3/爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络，所以相对慢一点。

4/10个线程同时请求，可达到如上速度。若个人网络环境更好，可启动更多线程来请求，具体配置方法见 [启动前配置]

下载地址

开发语言: Python2.7

开发环境: MacOS系统、4G内存

数据库: MongoDB。主要使用 scrapy 爬虫框架从Cookie池和UA池中随机抽取一个加入到Spider。start_requests 根据 PorbHub 的分类，启动了5个Request，同时对五个分类进行爬取。并支持分页爬取数据，并加入到待爬队列。

https://gitee.com/xiyouMc/pornhubbot.git

本项目旨在学习Scrapy爬虫框架和MongoDB数据库，不可使用于商业和个人其他意图。若使用不当，均由个人承担。

SpringCloud 系列精品文章

1、springcloud学习手册-什么是微服务？

2、springcloud学习手册-什么是springcloud？

3、springcloud学习手册-Eureka(第一节)？

4、springcloud学习手册-Eureka(第二节)?

5、springcloud学习手册-Eureka(第三节)?

6、springcloud学习手册-Eureka常见问题总结

7、springcloud学习手册-Ribbon（第一节）

8、springcloud学习手册-Ribbon(第二节)

9、springcloud学习手册-Ribbon(常见问题和补充说明)

10、springcloud学习手册-Hystrix(服务容错保护)

11、springcloud学习手册-Hystrix(工程引入)

12、springcloud学习手册-Hystrix(仪表盘说明)

13、springcloud学习手册-API Gateway (API网关)

14、springcloud学习手册-zuul(概念和内容)

15、springcloud学习手册-微服务架构中的进程间通信

16、springcloud学习手册-Config 分布式配置中心

17、springcloud学习手册-市面主流分布式配置中心框架汇总

18、springcloud学习手册-实现Config server的高可用