专栏首页华章科技盘点:Java程序员在用的大数据工具

盘点:Java程序员在用的大数据工具

英文原文:What Big Data Tools Do Java Developers Use?

译者:码农网 – 小峰

译文链接:http://www.codeceo.com/article/big-data-tools-java-programmer-use.html

据日前的一则大数据工具使用情况调查,我们知道了Java程序猿最喜欢用的大数据工具。

问题:他们最近一年最喜欢用什么工具或者是框架?

受访者可以选择列表中的选项或者列出自己的,本文主要关心的是大数据工具。上一篇Java调查包括下列内容:

  1. 开发语言
  2. Web框架
  3. 应用服务器
  4. 数据库工具
  5. SQL数据
  6. 大数据
  7. 开发工具
  8. 云供应商

现在,来看看维基百科上对大数据的定义:

大数据,广义上来说是一组量很大很复杂的数据集合,在这种情况下传统的数据处理方式将不再适用。

对于一般情况来说传统的SQL数据库足够用。再另外一些场景下,传统的数据库能够承载的数据库量级有限,并且现在有了越来越多的工具可供使用。关键取决于场景。

现在让我们来讨论不同的非SQL工具来存储/处理数据 - NoSQL数据库、内存缓存、全文搜索引擎、实时流媒体、图形数据库等。

大数据-调查结果

  • MongoDB-一种非常流行的、跨平台、面向document的数据库。
  • Elasticsearch-专为云计算设计的分布式REST风格的搜索引擎。
  • Cassandra-一个开源的分布式数据库管理系统。最初是Facebook设计和开发的,部署在大量商用服务器上来处理大量的数据。高可用,无单点故障。
  • Redis-开源的(BSD)内存数据结构存储、内存库、缓存、消息代理。
  • Hazelcast-基于Java开发的内存数据网格。
  • EHCache-广泛使用的开源Java分布式缓存、J2ee、轻量级容器。
  • Hadoop-用java开发的开源分布式大数据框架,用来处理非常大规模数据,hadoop是集群化部署。
  • Solr-使用java开发的开源企业级搜索平台。最初归属在Apache Lucene项目中。
  • Spark-ASF中最活跃的项目,是一个开源的集群化计算框架。
  • Memcached–通用分布式缓存系统。
  • Apache Hive-在Hadoop支持类SQL封装,将SQL语句变成mr程序来执行。
  • Apache Kafka–高吞吐量、分布式、消息发布-订阅系统,最早是Linkin开发的。
  • Akka–Java开发的用来建造高并发,基于jvm弹性消息驱动的应用。
  • Hbase-根据Google的BigTable论文开发的开源分布式非关系型数据库。开发语言是Java,用HDFS作为底层存储。
  • Neo4j–用Java实现的开源图形数据库。
  • CouchBase–面向Document的开源分布式NoSQL数据库,并且针对交互应用做过优化。
  • Apache Storm–开源分布式实时计算系统。
  • CouchDB–使用json来存储数据的开放源码面向文档的NoSQL数据库。
  • Oracle Coherence–内存数据网格解决方案,使企业通过提供快速访问热数据来预测关键任务应用的规模。
  • Titan–可扩展的图形数据库,针对集群存储和查询数千亿的图形数据做过优化。
  • 亚马逊 DynamoDB – 一个快速、灵活NoSQL数据库,能够应对所有规模应用程序的需求,包括持久化、毫秒级延迟。
  • Amazon Kinesis–AWS上的实时数据计算平台。
  • Datomic–提供完整事务支持,云计算,分布式的数据库,开发语言用Clojure。

END

版权声明:

转载文章均来自公开网络,仅供学习使用,不会用于任何商业用途,如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜,联系邮箱:holly0801@163.com。转载大数据公众号文章请注明原文链接和作者,否则产生的任何版权纠纷与大数据无关。

本文分享自微信公众号 - 大数据(hzdashuju)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 经典收藏丨数据科学家&大数据技术人员工具包

    本文简介:数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种,几十个大...

    华章科技
  • 漫话:如何给女朋友解释什么是"大案牍术"?

    导读:听说最近《长安十二时辰》比较火,于是趁着一个周末赶紧补一补剧。相信很多人都对其中的"大案牍术"比较感兴趣。

    华章科技
  • 世界顶尖数据科学家看未来十年大数据发展

    一直以来,我们都在不断改进数据处理工具。数据数量也在过去十年间爆炸式增长。那么,还有创新的空间吗?未来还会给我们新颖的启示,还会令人瞠目吗?大数据工程师离百万年...

    华章科技
  • 盘点|Java程序员在用的大数据工具

    据日前的一则大数据工具使用情况调查,我们知道了Java程序猿最喜欢用的大数据工具。 问题:他们最近一年最喜欢用什么工具或者是框架? 受访者可以选择列表中的选项...

    灯塔大数据
  • Java程序员在用的大数据工具,MongoDB稳居第一!

    据日前的一则大数据工具使用情况调查,我们知道了Java程序猿最喜欢用的大数据工具。 问题:他们最近一年最喜欢用什么工具或者是框架? 受访者可以选择列表中的选项或...

    CSDN技术头条
  • Java程序员使用的20几个大数据工具

    我是攻城师
  • Java程序员使用的20几个大数据工具

    最近问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。 这是一个系列,主题为: 语言 web框架 应用服务器 SQL数据访问工具 SQL数...

    灯塔大数据
  • 干货丨23个适合Java开发者的大数据工具和框架

    目前,编程人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂。根据外媒的一项调查报告,以下列出...

    小莹莹
  • 千万不要因为忽视这个,而坑了整个团队

    在读研期间,导师们都会非常的强调,如果引用别人的内容一定要在参考文献中注明,在学术界抄袭是非常严重的事情,可能会直接导致进入黑名单,而不仅仅是影响你一个人,可能...

    AI算法与图像处理
  • 又一个项目开源,阿里已成为中国开源的关键力量

    今天,开源软件托管平台github上的阿里巴巴主页又增加了一个新项目:Atlas。Atlas意指巨人,它是Google闻名遐迩的波士顿机器人的外号,也是手机淘宝...

    罗超频道

扫码关注云+社区

领取腾讯云代金券