网络爬虫如何判断页面是否更新？

爬虫

网络爬虫中，我们需要去判断网站页面是否刷新，下面就介绍几种判断方法：

1、304页面http状态码

当第二次请求页面访问的时候，该页面如果未更新，则会反馈一个304代码，而搜索引擎也会利用这个304http状态码来进行判断页面是否更新。

首先第一次肯定是要爬取网页的，假设是A.html，这个网页存储在磁盘上，相应地有个修改时间（也即是更新这个文件的时间）。

那么第二次爬取的时候，如果发现这个网页本地已经有了，例如A.html，这个时候，你只需要向服务器发送一个If-Modified-Since的请求，把A.html的修改时间带上去。

如果这段时间内，A.html更新了，也就是A.html过期了，服务器就会HTTP状态码200，并且把新的文件发送过来，这时候只要更新A.html即可。

如果这段时间内，A.html的内容没有变，服务器就会返返回HTTP状态码304（不返回文件内容），这个时候就不需要更新文件。

2、Last-Modified文件最后修改时间

这是http头部信息中的一个属性，主要是记录页面最后一次的修改时间，往往我们会发现，一些权重很高的网站，及时页面内容不更新，但是快照却还是能够每日更新，这其中就有Last-Modified的作用。通产情况下，下载网页我们使用HTTP协议，向服务器发送HEAD请求，可以得到页面的最后修改时间LastModifed,或者标签ETag。将这两个变量和上次下载记录的值的比较就可以知道一个网页是否跟新。这个策略对于静态网页是有效的。是对于绝大多数动态网页如ASP，JSP来说，LastModifed就是服务器发送Response的时间，并非网页的最后跟新时间，而Etag通常为空值。所以对于动态网页使用LastModifed和Etag来判断是不合适的，因此Last-Modified只是蜘蛛判断页面是否更新的一个参考值，而不是条件。

3、使用MD5数字签名

每次下载网页时，把服务器返回的数据流ResponseStream先放在内存缓冲区，然后对ResponseStream生成MD5数字签名S1，下次下载同样生成签名S2,比较S2和S1，如果相同，则页面没有更新，否则网页就有跟新。需要说明的是用md5算法对文本刘签名的速度是极快的，M级的数据可以在毫秒内完成。这种策略虽然也把页面数据从服务器传输到了本地机，但是省掉了页面的I/O操作，对系统性能的提升是很有帮助的。

4、比对文件大小

搜索引擎还会取出之前页面文件，和现在的文件进行对比，不过因为大部分网站都是一种替换式更新，往往比对文件大小很难说明问题，因此常见与页面链接变化配合使用。

大数据时代下，网络数据采集成为技术主流，但是大量的采集必然会受到各种限制，其中最常见的就是IP受限，请求的Headers，网站目录和数据加载方式等等，这就需要在爬虫过程中不断的去解决，像IP访问受限的问题就需要IP代理来解决。

芝麻百万IP，助力大数据时代。