首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬虫——综合案例流程版

爬虫——综合案例流程版

作者头像
py3study
发布2020-01-19 11:54:49
5700
发布2020-01-19 11:54:49
举报
文章被收录于专栏:python3python3

爬虫综合案例

开发步骤:

  • 导入类库
  • 创建爬虫通用类
  • 初始化init方法
  • 类中编写重试下载模块
  • 类中编写真正下载模块
  • 类外编写保存函数
  • 类外编写获取robots.txt函数
  • 类外编写抽取网址函数
  • 类中编写网址正常化函数
  • 创建下载限流类
  • 爬虫通用类封装run方法
  • 创建爬虫对象运行

导入类库

  • requests:爬虫请求类库
  • hashlib:哈希加密类库
  • queue:队列
  • re:正则
  • time:时间
  • threading>Thread:多线程
  • datetime>datetime:日期时间
  • urllib>parse>urlparse,urljoin,urldefrag:网址解析、拼接、截#取
  • urllib>robotparser:robot.txt解析
  • 目录名>文件名>MongoCache:存储到mongodb

创建爬虫通用类

功能:从初始网址爬取并抽取内层网址继续爬取 技术:随机User-Agent生成,队列,多线程,robots解析,下载限流,mongodb存储,爬取深度限制,重试下载,抽取特定路由,真正下载,网址正常化,功能封装 规范:用到类属性和类方法的方法在类里编写,用不到的在类外面编写,可以建个助手目录utils存放这些助手函数

初始化init方法

通常在开发过程中不可能一下子就把init写得完整,先把最易用到的,已经想到的初始化,后面的在编写其他函数想到时再来init里编写

  • 生成UserAgent对象,随机生成headers
  • 保存初始网址
  • 创建队列并放入初始网址

使用不同的队列会造成BFS和DFS的效果 使用先进先出队列产生广度优先搜索,使用先进后出(栈)产生深度优先搜索

  • 创建robots解析对象传入初始网址
  • 设置指定路由
  • 创建限流器对象并初始化间隔时间
  • 创建mongodb存储对象
  • 设置网址访问深度,在类外设置最大深度定量

类中编写重试下载模块

  • 调用retry装饰器装饰该函数并设置最多重试次数
  • 设置函数参数:网址,数据,请求方式,代理
  • 编写POST和GET爬取方式
  • 插入断言:状态码不为200则抛出异常
  • 返回爬取结果content

text:返回的是unicode 型的数据,一般是在网页的header中定义的编码形式,如果想要提取文本就用text; content:返回的是bytes,二级制型的数据;想要提取图片、文件,就要用到content; .text是现成的字符串,.content还要编码,但是.text不是所有时候显示都正常,这是就需要用.content进行手动编码。

类中编写真正下载模块

将重试下载模块封装在此,不对用户展示重试下载接口

  • 函数参数:网址,数据(默认None),请求方式(默认GET),代理(默认为空)
  • 输出一句下载信息
  • try~except 捕获重试下载模块的异常
  • 返回结果

类外编写保存函数

保存函数:将爬取内容MD5加密存储到文件中,注:使用mongodb保存结果则无需次函数

  • 创建md5加密对象
  • 加密update结果
  • 拼接保存文件路径
  • 写入文件

类外编写获取robots.txt函数

  • 创建robot文件解析对象
  • 拼接robots.txt所在完整地址
  • 获取robots.txt文件
  • 将robot.txt文件读取到rp对象中
  • 返回该解析对象

类外编写抽取网址函数

方式:lxml、BeautifulSoup、正则

lxml

1 html = lxml.html.fromstring(html_content)
2 html_data = html.xpath('//a/@href')

BeautifulSoup

1 soup = BeautifulSoup('lxml')
2 a_list = soup.find_all('a')
3 for a in a_list:
4 print(a['href'])

正则

1 url_regex = re.compile('<a[^>]+href=["\'](.*?)["\']', re.IGNORECASE)
2 return url_regex.findall(html_content.decode("utf-8"))

decode解码问题:不同网站所使用的编码方式有所不同—— utf-8 , gbk, gb2312, ISO-8859-1

类中编写网址正常化函数

实现一个类方法的时候,要注意类方法是否使用了当前类的属性或其他方法,如果未使用就说明和当前类没有直接关系,最好独立出来,当做工具方法

  • 以网址中的#进行分割(urldefrag),提取出网址部分和#后的转发部分
  • 将下载地址拼接上网址部分(urljoin)
 1 urljoin:拼接网址,若参数2网址是正确格式,那么拼接的结果只是参数2网址,参数1网址忽略;若参数2网址是错误格式或是后缀path,那么和参数1网址进行拼接
 2 urljoin('http://www.baidu.com','/ljb.html/index.html')
 3 'http://www.baidu.com/ljb.html/index.html'
 4 
 5 urljoin('http://www.baidu.com','http://ljb.html/index.html')
 6 'http://ljb.html/index.html'
 7 
 8 urljoin('/www.baidu.com','http://ljb.html/index.html')
 9 'http://ljb.html/index.html'
10 
11 urljoin('/test.html','http://ljb.html/index.html')
12 'http://ljb.html/index.html'
13 
14 urljoin('http://www.baidu.com/test.html','http://ljb.html/index.html')
15 'http://ljb.html/index.html'
16 
17 urljoin('http://www.baidu.com/test.html','http://www.sina.com/ljb.html/index.html')
18 'http://www.sina.com/ljb.html/index.html'

创建下载限流类

限流:设置爬取的间隔时间是为了避免IP被封锁,随机间隔时间更可靠

初始化方法
  • 创建domains字典,网址为键,访问时间为值
  • 传参delay,自行设置两次下载间隔时间
间隔方法
  • 原理:以delay作为时间间隔或超过delay才可进行访问(爬取)
  • 第一次访问:获取不到网址对应的访问时间(不执行if-else语句),以网址地址为键,访问时间为值存入字典
  • 第二次访问:获取上次访问对应网址的访问时间,进行if-else判断,计算时间差
  • 注:若delay>(这次访问时间-上次访问时间),说明还没等够,还需要继续等待,还需等待的时间是——总等待时间delay减去已经等待的时间(就是当前时间减去本次访问的时间)
  • 注:若delay<(这次访问时间-上次访问时间),说明已经等够了,可以直接访问
  • 得到键(域名):urlparse().netloc 1 urlparse('http://www.baidu.com/index.html?x=123&y=789#13579') 2 ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='', query='x=123&y=789', fragment='13579')
  • 从domains字典中get获取上次访问时间
  • 通过ifelse计算还需等待的时间并睡眠(time.sleep) -一次访问后保存本次访问到domains字典中

爬虫通用类封装run方法

执行流程
  • 判断队列中是否存在待爬取的网址
  • 判断爬取网址是否遵守robots约定,不遵守则跳出禁止下载
  • 对当前爬取网址限流
  • 获取当前的访问深度
  • 判断当前访问深度是否在规定范围内
  • 下载爬取网址得到爬取结果
  • 判断爬取结果是否为空
  • 爬取结果不为空则保存
  • 获取出爬取结果里的所有链接
  • 使用过滤器筛选出指点关键字的链接
  • for循环补全每个链接
  • 补全同时判断链接是否访问过
  • 未被访问过则深度加1
  • 并加入队列
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-03-13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 爬虫综合案例
    • 开发步骤:
      • 导入类库
      • 创建爬虫通用类
      • 初始化init方法
      • 类中编写重试下载模块
      • 类中编写真正下载模块
      • 类外编写保存函数
      • 类外编写获取robots.txt函数
      • 类外编写抽取网址函数
      • 类中编写网址正常化函数
      • 创建下载限流类
      • 爬虫通用类封装run方法
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档