爬虫其实很简单!——网络爬虫快速实现(一)

今天我来带领大家一起学习编写一个网络爬虫!其实爬虫很简单,没有想象中那么难,也许所有学问都是这样,恐惧源自于无知。废话不多说,现在开始我们的爬虫之旅吧。

爬虫是什么?

我们时常听说编程大牛嘴边一直念叨着“网络爬虫“,那网络爬虫究竟是何方神圣呢? 网络爬虫能够模仿用户浏览网页,并将所想要的页面中的信息保存下来。有些同学不禁要问:“我自己浏览网页,可以手动将数据保存下来啊,为何要写个程序去爬取数据呢?“道理其实很简单,程序能够在短时间内访问成千上万的页面,并且在短时间内将海量数据保存下来,这速度可远远超越了人工手动浏览网页的速度。

爬虫的原理

爬取网页的过程大致分成两个步骤:

  1. 爬取网页html文件 爬虫的第一步就是要模拟用户浏览网页,获取需要访问的页面。 模拟用户浏览网页的方法很简单,使用Java类库中的URLConnection类即可,这个类可以发送HTTP请求,并返回请求页的二进制数据,我们只需将返回的二进制数据转换成String类型,这些数据就是请求页的HTML文本!
//设置需要爬取页面的URL
URL url = new URL("http://www.baidu.com");  
//建立连接,获取URLConnection对象
        URLConnection connection = url.openConnection();
//将URLConnection对象转换成HttpURLConnection对象
        HttpURLConnection httpConnection = (HttpURLConnection) connection;
        httpConnection.setDoOutput(true);
//获取输出流
        OutputStreamWriter out = new OutputStreamWriter(httpConnection.getOutputStream(), "8859_1");  
//刷新输出流,然后关闭流
        out.flush();  
        out.close();  
        //一旦发送成功,用以下方法就可以得到服务器的回应:  
        String sCurrentLine = "";  
        String sTotalString = "";  
//ResponseCode==200表示请求发送成功!      if(httpConnection.getResponseCode()==200){
//获取服务器返回的输入流
            InputStream l_urlStream = httpConnection.getInputStream();  
            BufferedReader l_reader = new BufferedReader(new InputStreamReader(l_urlStream));  
            while ((sCurrentLine = l_reader.readLine()) != null) {  
                sTotalString += sCurrentLine + "\r\n";  
            }  
            System.out.println(sTotalString);
            return true;
        }
  1. 分析html文件,抽取其中需要的数据 当我们获取到请求页的HTML文本之后就需要在一堆HTML标签中将我们所需要的数据抽取出来。这里给大家提供一个很好用的抽取HTML数据的第三方Jar包:Jsoup! Jsoup提供了getElementById()、getElementById()等方法,我们能够很方便地将指定标签中的数据抽取出来。除此之外,为了方便实现网络爬虫,Jsoup中已经集成了发送HTTP请求的函数,而且将整个发送请求的过程极度地简化,只需两步就能完成,无需再使用HttpConnection类库在发送HTTP请求前进行一系列复杂的设置,并且Jsoup中返回的就是HTML文本,无需再进行二进制转换成HTML文本的操作。代码如下:
//通过Jsoup获取HTML文本
Document doc = Jsoup.connect("http://10.20.100.5:8080/").get();
//获取HTML中所有的tbody标签
        Elements tbodys = doc.getElementsByTag("tbody");
//获取tbody标签中所有的td标签
        Elements tds = tbodys.get(1).getElementsByTag("td");
//获取td中的文本
        tds.get(0).html();

看完这些相信大家对于网络爬虫已经入门了,能够实现一个最简单的爬虫程序,接下来我会带领大家一步步深入,实现一个更加智能、功能更加强大的爬虫! 如果各位还有什么问题,可以留言,我会尽力解答的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏韦弦的微信小程序

微信小程序带图片弹窗简单实现

(PS:最近发现一个问题,如果页面内有textarea时,textarea的层级会比蒙版视图高,并且无法修改,做了一个比较笨的解决方案:小程序textarea层...

822
来自专栏更流畅、简洁的软件开发方式

学习HTML5之表单

HTML5 的标准已经定了,应该火了,或者已经火了。那么是不是可以学习一下呢? 目前h5的主场还是在手机端,pc还是受困于浏览器的兼容,主要是IE在拖后腿。所以...

2125
来自专栏思考的代码世界

Python网络数据采集之采集JavaScript|第09天

客户端脚本语言是运行在浏览器而非服务器上的语言。客户端语言成功的前提是浏览器拥有正确地解释和执行这类语言的能力。

4056
来自专栏coding

v-model实例:英雄大会

773
来自专栏云瓣

尝试造了个工具类库,名为 Diana

项目地址: diana 文档地址: http://muyunyun.cn/diana/ 造轮子的意义 为啥已经有如此多的前端工具类库还要自己造轮子呢?个人认...

3036
来自专栏大前端开发

微信小程序之图片选择、预览与上传

所谓:一图胜千言。这话说明了图片描述事物的能力是非常强大的(怪不得我们可以用表情包聊一整天),尤其现在的手机拍照功能那么方便,用户对使用拍照和相册的需求日益上升...

885
来自专栏有趣的Python

验证码爬取并识别-云大urp教务系统大作战(1)

1. 穷举爬取urp的验证码 因为小道消息得知urp的验证码是有限数量的,因此通过数百万次的请求,下载所有验证码图片到本地,并生成了一份验证码图片的文件名的文...

3068
来自专栏程序员宝库

主流浏览器图片反防盗链方法总结

还记得之前写的那个无聊的插件,前一段时间由于豆瓣读书增加了防盗链策略使得我们无法直接引用他们的图片,使得我这个小插件无法工作。本以为是一个很简单的问题,但是没想...

1045
来自专栏happyJared

Python + Selenium 自动发布文章(三):CSDN

  这是本系列的第三篇文章,主要介绍如何用Python+Selenium 自动发布CSDN博客,一些必要的条件在之前的文章里面已经提到过,这里也不再重复。

482
来自专栏自动化测试实战

接口测试基础——第6篇unittest模块(一)

3326

扫描关注云+社区