专栏首页JAVAandPython君资源君带你抓取网站数据

资源君带你抓取网站数据

温馨提示

本文阅读需要5分钟左右

1.写在前面的话

这是公众号Java模板(跟资源君一起学Java)的第一篇推文,资源君创建这个模板也是为了监督自己不断的学习,并且不断的跟大家一起分享编程当中的一些好玩的东西。我也希望通过这个模板,大家一起进步!Java和python两个模板大概一周会推出两篇文章左右,因为资源君平时也没有太多的时间,所以请各位见谅了!

2.基础知识

jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.

上面是官方给的jsoup官方解释,中文意思是 jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

总的来说,就是可以帮我们解析HTML页面,并且可以抓取html里面的内容。

3.开始写代码

我们的目标是抓取菜鸟笔记上的信息(文章标题和链接)

public static void main(String[] args) {
     try {
         //下面这行代码是连接我们的目标站点,并且get到他的静态HTML代码
    Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();
         //我们把获取到的document打印一下,看看里面到底是啥?
    System.out.println(document);
  } catch (IOException e) {
    e.printStackTrace();
  }
 }

看我们代码运行后的结果:

你会发现我们通过这一句就获得了“菜鸟笔记”这个网站的HTML源码

我们来分析一下这串html源码

发现这两个正是我们所想要得到的数据,我们继续抓取

public static void main(String[] args) {
     try {
    Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();
    //底下一行代码是我们进一步抓取到具体的HTML模块,div表示<div>标签,
            //后面的post-intro表示的是div的class
            //由于div.post-intro这个标签有多个(每个标题有一个),所以我们先获取到它的所有
            Elements elements=document.select("div.post-intro");
            //我们来遍历一下,因为div.post-intro有很多个
    for(int i=0;i<elements.size();i++) {
           //下面一行我们获取到文章的标题,可以结合图片来分析
           // get(i)是为了获取每个div里面的<a>标签。后面的text(),就是获取<a></a>中的内容
      String title=elements.select("a").get(i).text(); 
           //attr是获取<a href="">里面的属性
      String url=elements.select("a").get(i).attr("href");
           //分别打印出来
      System.out.println(title);
      System.out.println("http://www.runoob.com/"+url);
    }
  } catch (IOException e) {
    e.printStackTrace();
  }
 }

这样我们就抓取到我们想要的内容了!

本文分享自微信公众号 - JAVAandPython君(JAVAandPythonJun)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 常用控件之Button详解

    小伙伴们肯定都有在玩儿一些游戏,比如和平精英,在界面上展示的名字,其实就是Android中咱们上一篇介绍到的TextView控件。而今天,我们再给大家带来一个非...

    下码看花
  • (二)Centos7下Yum更新安装PHP5.5,5.6,7.0

    Text-to-speech function is limited to 200 characters

    botkenni
  • Javapoet源码解析

    github:https://github.com/square/javapoet

    yuanyuan
  • yii2改写activeform样式(lable改写)

    Text-to-speech function is limited to 200 characters

    botkenni
  • JDK8新特性总结

    Lambda表达式是一个新的语言特性,已经在JDK8中加入。它是一个可以传递的代码块,你也可以把它们当做方法参数。Lambda表达式允许您更紧凑地创建单虚方法接...

    掌上编程
  • 在nginx配置文件中删除了index.php就报错

    [root@izkbs00av8xzccz conf.d]# systemctl restart nginx Job for nginx.service fa...

    botkenni
  • yii2控制台执行

    Text-to-speech function is limited to 200 characters

    botkenni
  • (一)Centos7下 Tengine安装和配置

    Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上,针对大访问量网站的需求,添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型...

    botkenni
  • git相关操作

    Text-to-speech function is limited to 200 characters

    botkenni
  • Java中堆与栈的两种区别

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    chenchenchen

扫码关注云+社区

领取腾讯云代金券