如何用java中的webmagic爬取网页

林老师带你学编程

发布于 2019-12-24 11:56:26

1.5K0

发布于 2019-12-24 11:56:26

文章被收录于专栏：强仔仔

说到爬虫，大家第一个想到的肯定是python的scrapyd爬虫。但是大家不知道吧，我们的java也有相应的爬虫工具。今天就给大家介绍一下我们java的爬虫工具。

我们今天要介绍的爬虫工具，名字叫做webmagic，webmagic的架构图如下所示：

如图所示，它主要分为四个部分：

Downloader(页面下载)
PageProcessor(页面分析及链接抽取)
Scheduler(URL管理)
Pipeline(后续处理和持久化)

webmagic的用法其实很简单，复杂的部分webmagic都替我们封装好了，接下来开始我们爬虫历程。

1.首先引入webmagic的依赖

<!--webmagic依赖开始-->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.6.1</version>
        </dependency>

        <dependency>
            <groupId>us.codecraft</groupId>
            <version>0.6.1</version>
            <artifactId>webmagic-extension</artifactId>
        </dependency>

        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-selenium</artifactId>
            <version>0.6.1</version>
        </dependency>

        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>3.3.1</version>
        </dependency>
        <!--webmagic依赖结束-->

2.创建PageProcessor，用来处理网页数据

/**
 * @author linzhiqiang
 */
public class CsdnBlogProcessor implements PageProcessor {
    private Site site = Site
            .me()
            .setDomain("csdn.net")
            .setSleepTime(3000)
            .setUserAgent(
                    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31");

    @Override
    public void process(Page page) {
        System.out.println("html:"+page.getHtml());
    }

    @Override
    public Site getSite() {
        return site;
    }
}

site中放置爬取的网站域名、cookie、请求头等信息。 process用来处理爬取到的网页数据，处理完的数据可以通过page.putField()，再通过Pipeline获取存储到数据库。

3.创建Pipeline，存储处理好的网页数据

public class CsdnPipeline implements Pipeline {
    @Override
    public void process(ResultItems resultItems, Task task) {
        //文章题目
        String title = resultItems.get("title");
        //文章内容
        String context = resultItems.get("context");
        System.out.println("title:" + title);
        System.out.println("context:" + context);
    }
}

在process中通过resultItems来获取PageProcessor存储的page数据，最后我们可以将数据存储到redis、数据库、文件等地方。

4.利用Scheduler调度爬取任务

public class RedisScheduler extends DuplicateRemovedScheduler implements
        MonitorableScheduler, DuplicateRemover {
    @Override
    public int getLeftRequestsCount(Task task) {
        return 0;
    }

    @Override
    public boolean isDuplicate(Request request, Task task) {
        return false;
    }

    @Override
    public void resetDuplicateCheck(Task task) {
    }

    @Override
    public int getTotalRequestsCount(Task task) {
        return 0;
    }

    private int num = 0;

    @Override
    public Request poll(Task task) {
        Request request = new Request("http://my.oschina.net/flashsword/blog/180623");
        return request;
    }
}

我们可以将我们要爬虫的任务，添加到Scheduler中，然后按照顺序一一爬取。

5.启动爬虫程序，开始爬取数据

    public static void main(String[] args) {
        RedisScheduler redisScheduler = new RedisScheduler();
        Spider.create(new CsdnBlogProcessor())
                .setScheduler(redisScheduler)
                .addPipeline(new CsdnPipeline())
                .thread(1)
                .run();
    }

从打印结果中，我们可以看到我们已经成功爬取到数据了。