今天用JAVA来写个爬虫!其实也不难!

1

写在前面的话

这篇文章其实是我很早之前就写好了的,这次重新整理一下。Java写爬虫可能很多朋友没有去试过,可能是由于这方面的资料比较少,也可能是Python写爬虫过于的方便。

2

基本概念

jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.

上面是官方给的jsoup官方解释,中文意思是 jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

总的来说,就是可以帮我们解析HTML页面,并且可以抓取html里面的内容。

3

开始写代码

我们的目标是抓取菜鸟笔记上的信息(文章标题和链接)

public static void main(String[] args) {     try {         //下面这行代码是连接我们的目标站点,并且get到他的静态HTML代码    Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();         //我们把获取到的document打印一下,看看里面到底是啥?    System.out.println(document);  } catch (IOException e) {    e.printStackTrace();  } }

看我们代码运行后的结果:

你会发现我们通过这一句就获得了“菜鸟笔记”这个网站的HTML源码

我们来分析一下这串html源码

发现这两个正是我们所想要得到的数据,我们继续抓取

public static void main(String[] args) {     try {    Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();    //底下一行代码是我们进一步抓取到具体的HTML模块,div表示<div>标签,            //后面的post-intro表示的是div的class            //由于div.post-intro这个标签有多个(每个标题有一个),所以我们先获取到它的所有            Elements elements=document.select("div.post-intro");            //我们来遍历一下,因为div.post-intro有很多个    for(int i=0;i<elements.size();i++) {           //下面一行我们获取到文章的标题,可以结合图片来分析           // get(i)是为了获取每个div里面的<a>标签。后面的text(),就是获取<a></a>中的内容      String title=elements.select("a").get(i).text();           //attr是获取<a href="">里面的属性      String url=elements.select("a").get(i).attr("href");           //分别打印出来      System.out.println(title);      System.out.println("http://www.runoob.com/"+url);    }  } catch (IOException e) {    e.printStackTrace();  } }

本文分享自微信公众号 - JAVAandPython君(JAVAandPythonJun)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏泰斗贤若如

匹马行天下之思维决定高度篇——道道道,学习Java之道

你们好!我是来自地球的一名Java程序员,首先我代表地球人对贵星球的高司令来到地球传授Java语言,造福了全人类,造福了整个地球表示由衷的感谢!

7740
来自专栏喵君手记

JavaScript引擎相关名词

8330
来自专栏java思维导图

Java并发编程73道面试题及答案 —— 面试稳了

最近后台和微信理有很多读者让我整理一些面试题,我就把这事放在心上了,于是在各大网站和其他公众号里面搜索面试相关的高质量文章或者信息,今天主要整理一下 Java ...

6920
来自专栏java思维导图

Java中堆和栈的区别在什么地方?来看些实例分析!

(1)Java的堆是一个运行时数据区,类的对象从堆中分配空间。这些对象通过new等指令建立,通过垃圾回收器来销毁。

7020
来自专栏JAVA同学会

JAVA中锁的解决方案

在上一节中,我们给大家介绍了什么是锁,以及锁的使用场景,我相信大家对锁的定义,以及锁的重要性都有了比较清晰的认识。在这一节中,我们会给大家继续做深入的介绍,介绍...

9320
来自专栏Java3y

Java必考面试题「版本特性」

Java 8用默认方法与静态方法这两个新概念来扩展接口的声明。与传统的接口又有些不一样,它允许在已有的接口中添加新方法,而同时又保持了与旧版本代码的兼容性。

13120
来自专栏江湖安得便相忘

遍历数组,我翻车了-Rust

其他的多数语言中的, 数组直接就是可迭代的,无论是下标遍历还是迭代器迭代,都可以运行,所以刚开始用Rust的时候就翻车了。

14500
来自专栏码匠的流水账

聊聊rocketmq的retryAnotherBrokerWhenNotStoreOK

本文主要研究一下rocketmq的retryAnotherBrokerWhenNotStoreOK

5200
来自专栏3D可视化

thingjs功能导航图

ThingJS 是物联网可视化PaaS开发平台,帮助物联网开发商轻松集成 3D 可视化界面。ThingJS 名称源于 物联网Internet of Things...

18550
来自专栏从零开始学自动化测试

jmeter压测学习2-linux运行jmeter环境

使用jmeter做压测的时候,在windows上不太稳定,所有一直在linux服务器上使用jmeter做压力测试。 本篇记录下linux上搭建jmeter环境,...

6710

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励