专栏首页我是攻城师Java程序员使用的20几个大数据工具

Java程序员使用的20几个大数据工具

最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。

这是一个系列,主题为:

  • 语言
  • web框架
  • 应用服务器
  • SQL数据访问工具
  • SQL数据库
  • 大数据
  • 构建工具
  • 云提供商

今天我们就要说说大数据。根据维基百科,大数据是数据集的一个广义的术语,并且该数据集是如此庞大和复杂,以致于传统的数据处理应用程序无法胜任。

在许多情况下,使用SQL数据库用于存储/检索数据就足够了。但在另一些情况下,要么SQL数据库规模不够,要么还有更好的工具。这一切都取决于使用情况。

现在让我们来讨论一下存储/处理数据用的不同的非SQL工具——NoSQL数据库,内存缓存,全文搜索引擎,实时流,图形数据库,等等。

MongoDB—— 一种流行的,跨平台的面向文档的数据库。

Elasticsearch——专为云而构建的分布式REST风格搜索引擎。

Cassandra——一个开源的分布式数据库管理系统,最初由Facebook开发,被设计用来处理横跨多个商用服务器的大量数据,提供了无单点故障的高度可用性。

Redis—— 一个开源的(BSD许可),内存数据结构存储,作为数据库、缓存和消息代理使用。

Hazelcast——基于Java的开源内存数据网格。

EHCache——一种被广泛使用的开源Java分布式缓存,用于通用缓存、Java EE和轻量级容器。Ehcache相关介绍

Hadoop——用Java编写的一个开源软件框架,用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。

Solr——一个开源的企业搜索平台,用Java编写的,来自于Apache Lucene项目。

Spark——Apache Software Foundation中最活跃的项目,一个开源的集群计算框架。

Memcached—— 一个通用的分布式内存缓存系统。

Apache Hive——提供了Hadoop之上类似于SQL的层。

Apache Kafka—— 一个高通量、分布式的发布-订阅式消息系统,最初开发在LinkedIn上。Windows上脱离Cygwin运行Apache Kafka

Akka—— 一个工具包和运行时,用于在JVM上构建高度并行的、分布式的、有弹性的消息驱动的应用程序。

HBase—— 一个开源的,非关系型的,分布式数据库,在谷歌的BigTable后建模,用Java编写,并运行在HDFS上。

Neo4j——用Java实现的开源图形数据库。

CouchBase——一个开源的、面向文档的分布式NoSQL数据库,特别为了交互式应用而优化。

Apache Storm——开源的分布式实时计算系统。

CouchDB——使用JSON来存储数据的面向文档的开源NoSQL数据库。

Oracle Coherence—— 一个内存的数据网格解决方案,通过提供快速访问常用数据的渠道,使得企业可预测地扩展关键任务应用程序。

Titan—— 一个可扩展的图形数据库,优化的目的在于存储和查询包含数千亿顶点和边的图形,分布在多机集群。

Amazon DynamoDB——一个快速、灵活、完全管理的NoSQL数据库服务,用于在任何规模需要一致的、个位数毫秒延迟的所有应用程序。

Amazon Kinesis—— 用于在AWS上的流数据的实时平台。

Datomic—— 一个用Clojure写的完全事务式的,支持云的,分布式数据库。

本文分享自微信公众号 - 我是攻城师(woshigcs)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-02-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 嘿,这里有一份来自JetBrains公司的福利

    这两天国外最热的互联网新闻莫过于微软高价收购github公司了,然后讨论最多的就是关于微软对开源的态度,这里不管结果如何,我都希望github这个网站能不变初心...

    我是攻城师
  • 嘿,这里有一份来自JetBrains公司的福利

    这两天国外最热的互联网新闻莫过于微软高价收购github公司了,然后讨论最多的就是关于微软对开源的态度,这里不管结果如何,我都希望github这个网站能不变初心...

    我是攻城师
  • 大数据就是这么神奇!

    我是攻城师
  • 盘点|Java程序员在用的大数据工具

    据日前的一则大数据工具使用情况调查,我们知道了Java程序猿最喜欢用的大数据工具。 问题:他们最近一年最喜欢用什么工具或者是框架? 受访者可以选择列表中的选项...

    灯塔大数据
  • Java程序员在用的大数据工具,MongoDB稳居第一!

    据日前的一则大数据工具使用情况调查,我们知道了Java程序猿最喜欢用的大数据工具。 问题:他们最近一年最喜欢用什么工具或者是框架? 受访者可以选择列表中的选项或...

    CSDN技术头条
  • 盘点:Java程序员在用的大数据工具

    译文链接:http://www.codeceo.com/article/big-data-tools-java-programmer-use.html

    华章科技
  • Java程序员使用的20几个大数据工具

    最近问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。 这是一个系列,主题为: 语言 web框架 应用服务器 SQL数据访问工具 SQL数...

    灯塔大数据
  • 干货丨23个适合Java开发者的大数据工具和框架

    目前,编程人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂。根据外媒的一项调查报告,以下列出...

    小莹莹
  • 千万不要因为忽视这个,而坑了整个团队

    在读研期间,导师们都会非常的强调,如果引用别人的内容一定要在参考文献中注明,在学术界抄袭是非常严重的事情,可能会直接导致进入黑名单,而不仅仅是影响你一个人,可能...

    AI算法与图像处理
  • 又一个项目开源,阿里已成为中国开源的关键力量

    今天,开源软件托管平台github上的阿里巴巴主页又增加了一个新项目:Atlas。Atlas意指巨人,它是Google闻名遐迩的波士顿机器人的外号,也是手机淘宝...

    罗超频道

扫码关注云+社区

领取腾讯云代金券