10个Hadoop相关工具，收藏了

大数据时代，企业日常需要处理的数据量超出了单个主机的存储和处理能力。而后，Hadoop带着高效存储和计算能力出现，填补了市场空白。今天小编就来给大家介绍10个Hadoop的相关工具，欢迎收藏转发。

1. Hadoop

Hadoop项目已几乎与大数据划上了等号。它如今正在不断壮大，现在已经成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。

支持的操作系统：Windows、Linux和OS X。

2. Chukwa

Chukwa基于Hadoop，可以收集来自大型分布式系统的数据，用于监控。它还含有用于分析和显示数据的工具。

支持的操作系统：Linux和OS X。

3. Ambari

这个项目作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。如果想把Ambari的功能整合到自己的应用程序当中，Ambari也提供了充分利用REST的API。

支持的操作系统：Windows、Linux和OS X。

4. Avro

Avro拥有丰富的数据结构和紧凑格式，提供了数据序列化系统。模式用JSON来定义，它很容易与动态语言整合起来。

5. Flume

Flume功能强大、具有容错性，还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。它可以从其他应用程序收集日志数据，然后将这些数据送入到Hadoop。

支持的操作系统：Linux和OS X。

6. Hadoop分布式文件系统（HDFS）

HDFS基于Java，具有容错性、高度扩展性和高度配置性。它是面向Hadoop的文件系统，不过也可以用作一种独立的分布式文件系统。

支持的操作系统：Windows、Linux和OS X。

7. Hive

Apache Hive是是一种类似SQL的语言，面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据。

8. MapReduce

MapReduce编程模型为处理大型分布式数据集提供了一种方法，是Hadoop一个不可或缺的部分。它最初由谷歌开发，现在也被本文介绍的另外几个大数据工具所使用，包括CouchDB、MongoDB和Riak。

9. HBase

HBase是一种分布式数据库，基于Hadoop和Hadoop分布式文件系统（HDFS）而建。

它是为有数十亿行和数百万列的超大表设计的，可以对大数据进行随机性的实时读取/写入访问。

10. Oozie

Oozie是为了管理Hadoop任务而专门设计的，能够按照时间或按照数据可用情况触发任务，并与MapReduce、Pig、Hive、Sqoop及其他许多相关工具整合起来。

支持的操作系统：Linux和OS X。

这10个Hadoop相关工具，你收藏了吗？如果还有什么想要知道的，可以在下方评论留言给小编~