资源君带你抓取网站数据

Python进击者

发布于 2019-09-17 14:58:47

9920

发布于 2019-09-17 14:58:47

文章被收录于专栏：JAVAandPython君JAVAandPython君

温馨提示

本文阅读需要5分钟左右

1.写在前面的话

这是公众号Java模板（跟资源君一起学Java）的第一篇推文，资源君创建这个模板也是为了监督自己不断的学习，并且不断的跟大家一起分享编程当中的一些好玩的东西。我也希望通过这个模板，大家一起进步！Java和python两个模板大概一周会推出两篇文章左右，因为资源君平时也没有太多的时间，所以请各位见谅了！

2.基础知识

jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.

上面是官方给的jsoup官方解释，中文意思是 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

总的来说，就是可以帮我们解析HTML页面，并且可以抓取html里面的内容。

3.开始写代码

我们的目标是抓取菜鸟笔记上的信息（文章标题和链接）

public static void main(String[] args) {
     try {
         //下面这行代码是连接我们的目标站点，并且get到他的静态HTML代码
    Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();
         //我们把获取到的document打印一下，看看里面到底是啥？
    System.out.println(document);
  } catch (IOException e) {
    e.printStackTrace();
  }
 }

看我们代码运行后的结果：

你会发现我们通过这一句就获得了“菜鸟笔记”这个网站的HTML源码

我们来分析一下这串html源码

发现这两个正是我们所想要得到的数据，我们继续抓取

public static void main(String[] args) {
     try {
    Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();
    //底下一行代码是我们进一步抓取到具体的HTML模块，div表示<div>标签，
            //后面的post-intro表示的是div的class
            //由于div.post-intro这个标签有多个(每个标题有一个)，所以我们先获取到它的所有
            Elements elements=document.select("div.post-intro");
            //我们来遍历一下，因为div.post-intro有很多个
    for(int i=0;i<elements.size();i++) {
           //下面一行我们获取到文章的标题，可以结合图片来分析
           // get(i)是为了获取每个div里面的<a>标签。后面的text()，就是获取<a></a>中的内容
      String title=elements.select("a").get(i).text(); 
           //attr是获取<a href="">里面的属性
      String url=elements.select("a").get(i).attr("href");
           //分别打印出来
      System.out.println(title);
      System.out.println("http://www.runoob.com/"+url);
    }
  } catch (IOException e) {
    e.printStackTrace();
  }
 }