全球最大XX网站爬虫分享

飞哥帮帮忙

公众号运营474天,第290篇文章

PHB项目

PHB项目主要是爬取全球最大XX网站的视频标题、时长、mp4链接、封面URL和具体的链接

项目结构简单,速度飞快

爬取视频的速度可以达到500万/天以上。具体视个人网络情况。

10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]

环境、架构

开发语言: Python2.7

开发环境: MacOS系统、4G内存

数据库: MongoDB

主要使用 scrapy 爬虫框架

从Cookie池和UA池中随机抽取一个加入到Spider

start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。

并支持分页爬取数据,并加入到待爬队列。

启动前配置

安装MongoDB,并启动,不需要配置

安装Scrapy

安装Python的依赖模块:pymongo、json、requests

根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

启动

python quickstart.py

运行截图

数据库说明

数据库中保存数据的表是 PhRes。以下是字段说明:

PhRes 表:

video_title:视频的标题,并作为唯一标识.

link_url:视频跳转的链接image_url:视频的封面链接video_duration:视频的时长,以 s 为单位quality_480p: 视频480p的 mp4 下载地址

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171221A07TF700?refer=cp_1026

同媒体快讯

  • 禅道系列视频005

    2018-10-21

相关快讯

扫码关注云+社区