爬虫框架Webmagic

一 Webmagic架构解析

WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。

WebMagic的结构分为四大组件,并由Spider将它们彼此组织起来。 Downloader                 下载 PageProcessor            处理 Scheduler                    管理 Pipeline                       持久化

这四大组件对应爬虫生命周期中的下载、处理、管 理和持久化等功能。 而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。

二 WebMagic四大组件详细介绍

• Downloader Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了ApacheHttpClient作为下载工具。
• PageProcessor PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。 WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。 在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。
• Scheduler Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。
• Pipeline Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。 WebMagic默认提供 了“输出到控制台”和“保存到文件”两种结果处理方案。

三 Webmagic的开发

Webmagic的包

        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
       </dependency>
       <dependency>
           <groupId>us.codecraft</groupId>
           <artifactId>webmagic-extension</artifactId>
           <version>0.7.3</version>
       </dependency>

Spider方法集

Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来 进行设置。

Webmagic的PageProcesso

我们做爬虫时候由于解析的内容,方式或者想得到的数据不同我们需要定义自己的PageProcesso,这需要我们编写自己的PageProcesso继承PageProcessor并实现两个方法. 解析规则process(Page page)和设置请求信息getSite()

public class MyPageProcessor implements PageProcessor {
    @Override
    public void process(Page page) {
        System.out.println(page.toString());
    }
    private Site site = Site.me()  //Site指定
            .setCharset("utf8")    //设置编码
            .setTimeOut(10000)   //设置超时时间，单位是ms毫秒
            .setRetrySleepTime(3000)  //设置重试的间隔时间
            .setSleepTime(3)      //设置重试次数
            ;

    @Override
    public Site getSite() {
        return site;
    }
}

process中的Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者 其他文本格式的内容。 Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。

Site用于定义请求访问的一些配置信息，例如编码、HTTP头、超时时间、重试策略等、代理等，都可以通过设置Site对象来进行配置。

Site配置