大数据专业之玩转Hadoop

在大数据专业中，Hadoop可以说是大数据存储和计算的老大哥。到现在大多开源的大数据框架都依赖Hadoop,有良好的兼容。

Hadoop作为开源的分布式系统，用户可以在不了解分布式底层设计的情况下，开发分布式应用程序，充分利用集群的优势来进行高速的运算和存储。Hadoop的可扩展性、低成本、灵活的处理模式让其得到很好的市场应用。

Hadoop目前包含：基础公共库 ( Common ) 、分布式文件存储系统 ( HDFS ) 、分布式计算框架 ( MapReduce ) 、分布式资源调度与管理系统 ( YARN ) 、分布式对象存储框架 ( OZone ) 、机器学习引擎 ( Submarine )这六个核心部分。

Hadoop让高性能计算不再是高端研究机构的独有专利，而是将分布式计算平民化。也正因如此，Hadoop的商用价值日趋上升。也随着数据时代的到来，企业及用户对大数据的存储、管理和分析的需求也日益迫切，数据量的增加、数据类型的复杂以及基于成本，Hadoop成为了很多企业解决大数据问题的技术手段。

Hadoop的技术优势

1、帮助企业降低大数据成本

Hadoop可以让企业高效的管理数据，达到降低数据应用的成本（包括：业务成本、硬件成本、人工成本、存储成本等）。

2、自身的技术优势

Hadoop自身的易用性、权威性、时效性可以帮助使用者增加数据价值，而且Hadoop拥有成熟的生态圈，覆盖了Compute Engine、Schedule、Other Component、ETL、Search、Message Queue、Analysis、Storage、Query Engine等。

当然作为Hadoop技术从业人员，除了了解Hadoop外，还需要懂得虚拟化、LINUX和Java基础相关的知识。

对虚拟化知识的要求

要求我们会搭建虚拟机，安装linux操作系统，会遇到的难点在虚拟机网络的配置上，因为hadoop要求主机与虚拟机与外部网络，这三者要是相通的，都能够连接上网络，只有这样在安装的过程中，才不会遇到麻烦。

对Linux的要求

常用的linux命令也就20多种，可以在搭建使用的过程中不断地加强练习，在实践中去记忆。

对Java基础的要求

Hadoop编程可以算是一个Java框架，所以懂Java基础能更好地学Hadoop

大数据专业中Hadoop是一个重要的知识内容，上文中Hadoop的六个核心部分是学习Hadoop的重点。“工欲善其事，必先利其器”，了解知识的重点，才能实现高效率的学习。