Python爬虫实践——简单爬取我的博客

学任何一门技术,如果没有实践,技术就难以真正的吸收。利用上次博客讲解的三个知识点:URL 管理器、网页下载器和网页解析器来爬取一下我的博客。

我的博客地址

http://weaponzhi.online/

这个博客里面没有技术的文章,主要是我的一些生活上面的记录,可以说是我的日记本,平时会写一些思想感悟,记录些琐事。我们简单以这个博客主页为入口,爬取一下以 weaponzhi.online 为 host 下所有的 URL 。

首先当然是需要一个 URL 管理器了,但和上篇文章说的有所不同,这次我们的待爬取数据结构是队列,实际上 Python 本身的 list 已经可以实现队列的一些操作了,但 list 的一些队列操作比如 pop() 效率是比较低的,Python 官方推荐使用 collection.deque 来完成队列操作。

from collections import deque

queue = deque()  # 待爬取的队列
visited = set()  # 已爬取的set

host = 'http://weaponzhi.online'  # 入口页面, 可以换成别的
queue.append(host)

host 是我们的入口界面同时也作为一个 host 作为后续 URL 拼接使用,这个到后面再说。

count = 0  # 计数器

while queue:

    url = queue.popleft()  # 队首元素出队
    visited.add(url)  # 标记为已访问

    print('已经抓取: ' + str(count) + '   正在抓取 <---  ' + url)
    count += 1
    try:
        url_response = urllib.request.urlopen(url)
        # 过滤.jpg这种非跳转URL的情况
        if 'html' not in url_response.getheader('Content-Type'):
            continue
        data = url_response.read().decode('utf-8')
    except:
        continue

URL 管理器相关的数据结构建立好后,我们就可以从入口开始进行我们网页下载器部分的编写了。

我们先从待爬取的队列中 pop 出一个 URL,注意,pop 开头的方法在获取元素的同时会将元素从队列中移除。当我们获取完待爬取的元素的同时也将该 URL 添加到已爬取 URL 容器管理。

因为我们是一个简单的爬虫,并没有作任何的异常处理,所以为了避免爬取过程中遇到一些网络异常状况导致爬虫程序终止,我们将网页下载器的关键代码部分都 try...except 了,在遇到特殊情况的时候,将继续循环流程。

这里处理了一种情况,因为有的 URL 是一个下载链接或者图片,以 .jpg 或者 .ico 结尾,这种情况我们应该通过判断 header 属性机智的跳过它。

到现在为止都是上一篇文章的内容,不是很难,最复杂和需要花时间处理逻辑的,还是我们的网络解析器部分。

我先小试牛刀,在刚刚的 while 语句下写下了这段代码。

soup = BeautifulSoup(data, 'lxml')
node = soup.find_all('a')  # 查找a标签节点
for x in node:
    try:
        new_url = x['href']
        if new_url not in queue and new_url not in visited:
            queue.append(new_url)
            print('加入队列 ---> ' + new_url)
    except:
        continue

我使用 lxml 作为解析器,这种解析器的速度比 html.parser更快,而且它在 Python 各平台的兼容性也非常好。

我们通过 find_all 拿到了一个节点列表,需要注意的是,通过 soup 对象 find 函数返回的对象类型是bs4.element.Tag,Tag 与 XML 和 HTML 原生文档中的 tag 相同,它有两个重要属性 Name 和 Attributes,在这个例子中,name 就是标签名 a,Attributes 有很多,比如这里的 href,还有 class,id 等等。Attributes 的使用方法和字典一模一样,比如 x['href']。

上面的解析器代码输出的结果如下图所示

从结果来看这个爬虫还是有一定问题的,首先,爬取的 URL 大多都是相对路径,这种路径使用 urlopen 是肯定没法读取的。其次,我们看到我们会爬取到一些和博客地址无关的路径,比如图中的知乎地址,出现这种情况的原因是博客会有一些路径的跳转入口,如果我们放任爬虫去爬取这些路径,除非我们限定了爬取数量,那么爬虫将会无限制的爬取下去,直到天荒地老。

我们的目的是只爬取以 weaponzhi.online 开头的博客内地址,并且记录爬取数,如果队列中的 URL 全部出队,则自动停止循环,修改后的代码如下所示

for x in node:
    try:
       new_url = x['href']
       if new_url.startswith('/'):
            new_url = host + new_url
        if new_url not in queue and new_url not in visited:
            if 'http' in new_url and 'weaponzhi' in new_url:
                queue.append(new_url)
                print('加入队列 ---> ' + new_url)
    except:
        continue

我这里的处理方式比较简单粗暴,如果 URL 是以 '/' 开头的,我就认为它是一个相对地址,并把该地址与 host 地址作一个拼接。然后,用一个判断语句,确保该 URL 内有 weaponzhi 字段,从而保证了 URL 是博客内地址。当然了,更好的方式是使用正则表达式来代替这些判断语句,这就留给各位看官自行思考了~

来看看现在的代码结果

我将源码上传到了 Github 上,以后相关的文章都会在这个仓库中拓展。

https://github.com/WeaponZhi/PythonSpiner

原文发布于微信公众号 - WeaponZhi(WeaponZhi)

原文发表时间:2018-01-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DeveWork

彻底解决WordPress 中 半角全角字符转义 的问题

WordPress中会默认会自动转义一些字符,如将‘--’转义为‘-’破折号,网络上也称“转换全半角标点符号”或者“代码转义”。因为Wordpress 会智能地...

2435
来自专栏容器云生态

Docker监控方案(TIG)的研究与实践之Influxdb

前言: Influxdb也是有influxdata公司(www.influxdata.com )开发的用于数据存储的时间序列数据库.可用于数据的时间排列。在整个...

2618
来自专栏张戈的专栏

事实证明Linux永远是NO.1

嗨,我正在写一个简单的程序,我要让这个程序打印出一个整数。 #include <stdio.h> int main() {    int linux = ...

3317
来自专栏日常学python

数据抓取实践:对加密参数及压缩混淆 JS 的逆向分析

本文会介绍几种分析技巧,需要一点前端知识(总感觉在前端做防爬没什么意义,因为源码都是公开的)。文末附上爬虫 Demo 验证,虽然对于这个案例来说使用 Selen...

590
来自专栏TungHsu

怎么快速将PPT转为Word文档?

想必大家都有打印PPT的经历,一般大家的方法是缩小PPT页然后打印,今天教大家一个新方法,将快速将PPT转为Word文档。

663
来自专栏技术分享

redis 简单使用总结

最近一段时间与redis接触比较频繁。发现有些东西还是工作中经常会用到的,自己也花了点时间巩固下。本篇文章主要是以总结性的方式梳理,因为redis的主题很大,任...

2049
来自专栏九彩拼盘的叨叨叨

学习前端 第1周第2天

662
来自专栏散尽浮华

统计代码行数的方法梳理

在日常运维工作中,会碰到对一项项目下的代码行数进行统计的需求,下面对代码行数的统计方法进行梳理,以供参考。 1)最简单的是使用wc -l直接进行代码行数统计。(...

1977
来自专栏Albert陈凯

Spark详解07广播变量BroadcastBroadcast

Broadcast 顾名思义,broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多,比如 driver 上有一张表,其他节点上运行的 ...

3296
来自专栏云飞学编程

Python新手爬虫,简单制作抓取廖雪峰的教程的小爬虫

先看几张对比图,分别是官网截图和抓取下来的txt文档的截图,不算那难看的排版的话,内容是一致的,图片用url替换了!

491

扫描关注云+社区