玩大数据一定用得到的18款Java开源Web爬虫

来源:36dsj.com

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

今天将为大家介绍18款Java开源Web爬虫,需要的小伙伴们赶快收藏吧。

1

Heritrix

Heritrix 是一个由 Java 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。

Heritrix 是个“Archival Crawler”——来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒,不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫主要通过Web用户界面启动、监控和调整,允许弹性的定义要获取的url。

Heritrix是按多线程方式抓取的爬虫,主线程把任务分配给Teo线程(处理线程),每个Teo线程每次处理一个URL。Teo线程对每个URL执行一遍URL处理器链。URL处理器链包括如下5个处理步骤。

  1. 预取链:主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。
  2. 提取链:主要是下载网页,进行DNS转换,填写请求和响应表单。
  3. 抽取链:当提取完成时,抽取感兴趣的HTML和JavaScript,通常那里有新的要抓取的URL。
  4. 写链:存储抓取结果,可以在这一步直接做全文索引。Heritrix提供了用ARC格式保存下载结果的ARCWriterProcessor实现。
  5. 提交链:做和此URL相关操作的最后处理。检查哪些新提取出的URL在抓取范围内,然后把这些URL提交给Frontier。另外还会更新DNS缓存信息。

Heritrix系统框架图

Heritrix处理一个URL的流程

2

WebSPHINX

WebSPHINX 是一个 Java 类包和 Web 爬虫的交互式开发环境。 Web 爬虫 ( 也叫作机器人或蜘蛛 ) 是可以自动浏览与处理 Web 页面的程序。 WebSPHINX 由两部分组成:爬虫工作平台和 WebSPHINX 类包。

WebSPHINX 是一个 Java 类包和 Web 爬虫的交互式开发环境。 Web 爬虫 ( 也叫作机器人或蜘蛛 ) 是可以自动浏览与处理 Web 页面的程序。 WebSPHINX 由两部分组成:爬虫工作平台和 WebSPHINX 类包。

WebSPHINX用途:

  1. 可视化显示页面的集合
  2. 下载页面到本地磁盘用于离线浏览
  3. 将所有页面拼接成单个页面用于浏览或者打印
  4. 按照特定的规则从页面中抽取文本字符串
  5. 用Java或Javascript开发自定义的爬虫

详细介绍可见http://www.cs.cmu.edu/~rcm/websphinx/

3

WebLech

WebLech是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。

WebLech是一个功能强大的Web站点下载与镜像免费开源工具。它支持按功能需求来下载Web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。

这款爬虫足够简单,如果初学如果编写爬虫,可做入门参考。所以我选择了用这个爬虫开始我的研究。如果只是做要求不高的应用,也可试试。如果想找一款功能强大,就别在WebLech上浪费时间了。

该项目主页:http://weblech.sourceforge.net/

特点:

  1. 开源,免费
  2. 代码是用纯Java写的,可以在任何支持Java的平台上也行
  3. 支持多线程下载网页
  4. 可维持网页间的链接信息
  5. 可配置性强: 深度优先或宽度优先爬行网页 可定制URL过滤器,这样就可以按需要爬行单个Web服务器,单个目录或爬行整 个WWW网络 可设置URL的优先级,这样就可以优先爬行我们感兴趣或重要的网页 可记录断点时程序的状态,一边重新启动时可接着上次继续爬行。

4

Arale

Arale主要为个人使用而设计,而没有像其它爬虫一样是关注于页面索引。Arale能够下载整个Web站点或来自Web站点的某些资源。Arale还能够把动态页面映射成静态页面。

5

JSpider

JSpider是一个完全可配置和定制的Web Spider引擎,你可以利用它来检查网站的错误(内在的服务器错误等),网站内外部链接检查,分析网站的结构(可创建一个网站地图),下载整个Web站点,你还可以写一个JSpider插件来扩展你所需要的功能。

Spider是一个用Java实现的WebSpider,JSpider的执行格式如下:

jspider [URL] [ConfigName]

URL一定要加上协议名称,如:http://,否则会报错。如果省掉ConfigName,则采用默认配置。

JSpider 的行为是由配置文件具体配置的,比如采用什么插件,结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类很少,用途也不大。但是JSpider非常容易扩展,可以利用它开发强大的网页抓取与数据分析工具。要做到这些,需要对JSpider的原理有深入的了 解,然后根据自己的需求开发插件,撰写配置文件。

JSpider是:

  1. 一个高度可配置和和可定制Web爬虫
  2. LGPL开源许可下开发
  3. 100%纯Java实现

您可以使用它来:

  1. 检查您网站的错误(内部服务器错误; …)
  2. 传出或内部链接检查
  3. 分析你网站的结构(创建一个sitemap; …)
  4. 下载整修网站
  5. 通过编写JSpider插件实现任何功能

该项目主页:http://j-spider.sourceforge.net/

6

spindle

spindle是一个构建在Lucene工具包之上的Web索引/搜索工具。它包括一个用于创建索引的HTTP spider和一个用于搜索这些索引的搜索类。spindle项目提供了一组JSP标签库使得那些基于JSP的站点不需要开发任何Java类就能够增加搜索功能。

7

Arachnid

Arachnid是一个基于Java的Web spider框架。它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流,通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。 Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。

该项目主页:http://arachnid.sourceforge.net/

8

LARM

LARM能够为Jakarta Lucene搜索引擎框架的用户提供一个纯Java的搜索解决方案。它包含能够为文件,数据库表格建立索引的方法和为Web站点建索引的爬虫。

该项目主页:http://larm.sourceforge.net/

9

JoBo

JoBo是一个用于下载整个Web站点的简单工具。它本质是一个Web Spider。与其它下载工具相比较它的主要优势是能够自动填充form(如:自动登录)和使用cookies来处理session。JoBo还有灵活的下载规则(如:通过网页的URL,大小,MIME类型等)来限制下载。

10

snoics-reptile

  • snoics-reptile是什么?

是用纯Java开发的,用来进行网站镜像抓取的工具,可以使用配制文件中提供的URL入口,把这个网站所有的能用浏览器通过GET的方式获取到的资源全部抓取到本地,包括网页和各种类型的文件,如:图片、flash、mp3、zip、rar、exe等文件。可以将整个网站完整地下传至硬盘内,并能保持原有的网站结构精确不变。只需要把抓取下来的网站放到Web服务器(如:Apache)中,就可以实现完整的网站镜像。

  • 现在已经有了其他的类似的软件,为什么还要开发snoics-reptile?

因为有些在抓取的过程中经常会出现错误的文件,而且对很多使用JavaScript控制的URL没有办法正确的解析,而snoics-reptile通过对外提供接口和配置文件的形式,对特殊的URL,可以通过自由的扩展对外提供的接口,并通过配置文件注入的方式,基本上能实现对所有的网页都正确的解析和抓取。

该项目主页:http://www.blogjava.net/snoics

11

Web-Harvest

Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Web-Harvest主要是运用了像XSLT、XQuery、正则表达式等这些技术来实现对text/xml的操作。

Web-Harvest 是一个用Java 写的开源的Web 数据提取工具。它提供了一种从所需的页面上提取有用数据的方法。为了达到这个目的,你可能需要用到如XSLT、XQuery和正则表达式等操作text/xml 的相关技术。Web-Harvest 主要着眼于目前仍占大多数的基于HMLT/XML 的页面内容。另一方面,它也能通过写自己的Java 方法来轻易扩展其提取能力。

Web-Harvest 的主要目的是加强现有数据提取技术的应用。它的目标不是创造一种新方法,而是提供一种更好地使用和组合现有方法的方式。它提供了一个处理器集用于处理数据和控制流程,每一个处理器被看作是一个函数,它拥有参数和执行后同样有结果返回。而且处理是被组合成一个管道的形式,这样使得它们可以以链式的形式来执行,此外为了更易于数据操作和重用,Web-Harvest 还提供了变量上下方用于存储已经声明的变量。

Web-Harvest 启动,可以直接双击jar包运行,不过该方法不能指定Web-Harvest java虚拟机的大小。第二种方法,在cmd下切到Web-Harvest的目录下,敲入命令“java -jar -Xms400m webharvest_all_2.jar” 即可启动并设置起java虚拟机大小为400M。

该项目主页:http://web-harvest.sourceforge.net

12

ItSucks

ItSucks是一个Java Web爬虫开源项目。可灵活定制,支持通过下载模板和正则表达式来定义下载规则。提供一个控制台和Swing GUI操作界面。

功能特性:

  1. 多线程
  2. 正则表达式
  3. 保存/载入的下载工作
  4. 在线帮助
  5. HTTP/HTTPS 支持
  6. HTTP 代理 支持
  7. HTTP身份验证
  8. Cookie 支持
  9. 可配置的User Agent
  10. 连接限制
  11. 配置HTTP响应代码的行为
  12. 带宽限制
  13. Gzip压缩

该项目主页:http://itsucks.sourceforge.net/

13

Smart and Simple Web Crawler

Smart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始,提供两种遍历模式:最大迭代和最大深度。可以设置 过滤器限制爬回来的链接,默认提供三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter,这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。

14

Crawler4j

Crawler4j是Java实现的开源网络爬虫。提供了简单易用的接口,可以在几分钟内创建一个多线程网络爬虫。

Crawler4j的使用主要分为两个步骤:

  1. 实现一个继承自WebCrawler的爬虫类;
  2. 通过CrawlController调用实现的爬虫类。

WebCrawler是一个抽象类,继承它必须实现两个方法:shouldVisit和visit。其中:

  1. shouldVisit是判断当前的URL是否已经应该被爬取(访问);
  2. visit则是爬取该URL所指向的页面的数据,其传入的参数即是对该web页面全部数据的封装对象Page。

另外,WebCrawler还有其它一些方法可供覆盖,其方法的命名规则类似于Android的命名规则。如getMyLocalData方法可以返回WebCrawler中的数据;onBeforeExit方法会在该WebCrawler运行结束前被调用,可以执行一些资源释放之类的工作。

许可:

Copyright (c) 2010-2015 Yasser Ganjisaffar

根据 Apache License 2.0 发布

开源地址: https://github.com/yasserg/crawler4j

15

Ex-Crawler

Ex-Crawler 是一个网页爬虫,采用 Java 开发,该项目分成两部分,一个是守护进程,另外一个是灵活可配置的 Web 爬虫。使用数据库存储网页信息。

Ex-Crawler分成三部分(Crawler Daemon,Gui Client和Web搜索引擎),这三部分组合起来将成为一个灵活和强大的爬虫和搜索引擎。其中Web搜索引擎部分采用PHP开发,并包含一个内容管理系统CMS用于维护搜索引擎。

该项目主页:http://ex-crawler.sourceforge.net/joomla/

16

Crawler

Crawler是一个简单的Web爬虫。它让你不用编写枯燥,容易出错的代码,而只专注于所需要抓取网站的结构。此外它还非常易于使用。

该项目主页:http://projetos.vidageek.net/crawler/crawler/

17

Encog

Encog是一个高级神经网络和机器人/爬虫开发类库。Encog提供的这两种功能可以单独分开使用来创建神经网络或HTTP机器人程序,同时Encog还支持将这两种高级功能联合起来使用。Encog支持创建前馈神经网络、Hopfield神经网络、自组织图。

Encog提供高级HTTP机器人/爬虫编程功能。支持将多线程爬虫产生的内容存在内存或数据库中。支持HTM解析和高级表单与Cookie处理。

Encog是一种先进的机器学习框架,它支持多种先进的算法,以及支持类正常化和处理数据。机器学习算法,如支持向量机,人工神经网络,遗传编程,贝叶斯网络,隐马尔可夫模型,遗传编程和遗传算法的支持。大多数Encog培训algoritms是多线程的,很好地扩展到多核硬件。Encog还可以使用一个GPU,以进一步加快处理时间。一个基于GUI的工作台也提供帮助模型和火车机器学习算法。自2008年以来Encog一直在积极发展。

Encog 支持多种语言,包括C#、Java和C。

在GitHub上有各种语言版本的源代码。

http://www.heatonresearch.com/encog

https://github.com/encog

18

Crawljax

Crawljax是一个开源Java工具用于Ajax Web应用程序的自动化抓取和测试。Crawljax能够抓取/爬行任何基于Ajax的Web应用程序通过触发事件和在表单中填充数据。

该项目主页:http://crawljax.com/

开源地址:https://github.com/crawljax/crawljax

END

版权声明:

转载文章均来自公开网络,仅供学习使用,不会用于任何商业用途,如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜,联系邮箱:holly0801@163.com。转载大数据公众号文章请注明原文链接和作者,否则产生的任何版权纠纷与大数据无关。

原文发布于微信公众号 - 大数据(hzdashuju)

原文发表时间:2016-10-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SeanCheney的专栏

《Python分布式计算》 第5章 云平台部署Python (Distributed Computing with Python)云计算和AWS创建AWS账户创建一个EC2实例使用Amazon S3存

上一章介绍了创建Python分布式应用的Celery和其它工具。我们学习了不同的分布式计算架构:分布任务队列和分布对象。然而,还有一个课题没有涉及。这就时在多台...

38060
来自专栏服务端技术杂谈

分布式系统中所说的幂等性

大型网站应用架构中,越来越多的SOA或Restful的web api的流行归功于http协议。 幂等性定义 Http协议涉及到一种重要性质:幂等性。 Http方...

31940
来自专栏架构师之路

缓存,你真的用对了么?

缓存,是互联网分层架构中,非常重要的一个部分,通常用它来降低数据库压力,提升系统整体性能,缩短访问时间。

23720
来自专栏应用案例

性能测试之gatling详解

大家接触过形形色色的压力测试工具,例如lr,jmeter各有各的优点,那么最近在做接口测试中涉及到压力测试,小弟就看到一个好用的工具俗称“加特林”英文Gatli...

39560
来自专栏顶级程序员

11个让你吃惊的Linux终端命令

我已经用了十年的Linux了,通过今天这篇文章我将向大家展示一系列的命令、工具和技巧,我希望一开始就有人告诉我这些,而不是曾在我成长道路上绊住我。 ? 1.命...

58370
来自专栏ImportSource

MartinFowler告诉你大数据架构师必备的NoSQL技能-版本戳(上)

-许多NoSQL数据库的批评者老说NoSQL数据库不支持事务。 ? 事务是一个有用的工具,他可以帮助编程者解决一致性的问题。然而,NoSQL的推崇者并不担心这个...

36880
来自专栏高性能服务器开发

(八)高性能服务器架构设计总结1——以flamigo服务器代码为例

这篇文章算是对这个系列的一个系统性地总结。我们将介绍服务器的开发,并从多个方面探究如何开发一款高性能高并发的服务器程序。 所谓高性能就是服务器能流畅地处理各个客...

45560
来自专栏linux驱动个人学习

调度器增强

到目前为止,我们只考虑了实时系统上的调度。事实上, Linux可以做得更好些。除了支持多个CPU之外,内核也提供其他几种与调度相关的增强功能,在以后几节里会论述...

12610
来自专栏企鹅号快讯

入门干货之用DVG打造你的项目主页-Docfx、Vs、Github

由于这三项技术涉及到的要点以及内容较多,希望大家有空能自己挖掘一下更多更深的用法。 0x01、介绍 VS,即VS2017以及以上版本,宇宙最好的IDE,集成了宇...

22160
来自专栏用户2442861的专栏

Java NIO浅析

作者:美团点评技术团队 链接:https://zhuanlan.zhihu.com/p/23488863 来源:知乎 著作权归作者所有。商业转载请联系作者...

20040

扫码关注云+社区

领取腾讯云代金券