【Hadoop】大数据简介及Hadoop平台搭建

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/79122623

1、大数据简介

大数据特点:大(数据量大,PB级别的数据)、繁(多样性、复杂性,非结构化数据)、快(查询、处理、计算速度快)、有价值(Value)。

2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要是包括支持、咨询服务和培训。2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司,Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support。CDH是Cloudera的Hadoop发行版,完全开源,比Apache Hadoop在兼容性,安全性,稳定性上有所增强。Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

Cloudera公司的Hadoop发行版是CDH版。Google的三篇论文:MapReduce、GFS->HDFS分布式文件系统、bigtable->HBase数据库。Hadoop 1.x = MapReduce+HDFS。

2、企业大数据平台架构

3、Hadoop模块

Hadoop 2.x主要包括以下四个模块:

(1)Hadoop Common:为其他Hadoop模块提供基础设施。

(2)Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统。

(3)Hadoop MapReduce:一个分布式的离线并行计算框架。

(4)Hadoop YARN:一个新的MapReduce框架,任务调度与资源管理。

4、HDFS(Hadoop Distributed File System)文件系统

(1)设计思想:一次写入,多次读取,写入后存储在HDFS上就不能修改,但可以把文件下载到本地,把HDFS上的文件删除,修改后再上传到HDFS上,实现文件的修改。

(2)文件属性(文件元数据):文件名称、存储位置、副本数、权限(RWX)、存储块。

(3)存储的形式:块block,块的大小:默认128MB,可以用户自定义大小。

比如:文件大小为500MB,块大小是256MB,第一个块:256,第二个块:244。

如果文件大小小于数据块的大小,它是不会占据整个块的空间的。

多个文件不能放到一个块中。

(4)主从架构

主节点namenode:管理存储元数据;

从节点datanode:真正存储文件,消耗硬盘。

NameNode是主节点,存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在DataNode等。

DataNode在本地文件系统存储文件块数据,以及块数据的校验和。

SecondaryNameNode是用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

(5)读写流程

首先client通过RPC协议请求namenode获取文件的位置,然后到具体datanode上读写

client -> namenode

client -> datanode

5、Yarn框架

(1)主从架构

主节点:resourcemanager,管理资源、分配资源;

从节点:nodemanager,消耗资源。

(2)作用:集群资源分配管理,多任务调度。

总的资源:CPU、内存、硬盘。

运行的任务(时间、资源)。

ApplicationMaster应用管理者:每一个应用都会有一个应用管理者。

Container容器:每个map都是在各自独立的环境中去运行(资源独立),任务就在容器中运行。

(3)ResourceManager:负责处理客户端请求,启动/监控ApplicationMaster,监控NodeManager,资源分配与调度。

NodeManager:负责单个节点上的资源管理,处理来自ResourceManager的命令和来自ApplicationMaster的命令。

ApplicationMaster:负责数据切分,为应用程序申请资源,并分配给内部任务,负责任务监控与容错。

Container:对任务运行环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。

6、Hadoop伪分布式环境搭建

(1)三种模式

Local (Standalone) Mode 本地模式:不使用HDFS文件系统,使用本地文件系统,程序员调试用;

Pseudo-Distributed Mode 伪分布式模式:单节点,一台机器,使用HDFS文件系统,程序员调试用;

Fully-Distributed Mode 完全分布式模式:真实生产环境用,集群。

(2)解压JDK

$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

配置环境变量

#JAVA_HOME export JAVA_HOME=/opt/modules/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin

(3)解压Hadoop

$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/

(4)建议:删除rm -rf /opt/modules/hadoop-2.5.0/share/doc/,里面是英文文档,没有作用

(5)配置过程

<1>hadoop-env.sh、mapred-env.sh、yarn-env.sh指定Java的安装路径 export JAVA_HOME=/opt/modules/jdk1.7.0_67

<2>core-site.xml,指定namenode所在机器位置及交互端口号,另外也是指定使用的是HDFS文件系统 <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-senior.ibeifeng.com:8020</value> </property>

<3>hdfs-site.xml,指定副本数个数 <property> <name>dfs.replication</name> <value>1</value> </property>

<4>core-site.xml,更改Hadoop默认的临时目录位置,用于存放块文件和元数据文件 <property> <name>hadoop.tmp.dir</name> <value>/opt/modules/hadoop-2.5.0/data/tmp</value> </property>

<5>slaves,指定从节点位置(主机名),包括datanode和nodemanager

<6>格式化namenode,对于元数据进行初始化,否则无法读取元数据

bin/hdfs namenode -format

<7>更改mapred-site.xml文件名称,指定MR运行在yarn上 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

<8>yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-senior.ibeifeng.com</value> </property>

<9>yarn外部管理界面端口号:8088

HDFS外部管理界面端口号:50070

secondarynamenode外部管理界面端口号:50090

7、组件启动

启动namenode:

sbin/hadoop-daemon.sh start namenode

启动datanode:

sbin/hadoop-daemon.sh start datanode

启动resourcemanager:

sbin/yarn-daemon.sh start resourcemanager

启动nodemanager:

sbin/yarn-daemon.sh start nodemanager

8、日志

日志文件:分析日志文件的格式.log和.out

.log:通过log4j记录的,记录大部分应用程序的日志信息

.out:记录标准输出和标准错误日志,少量记录

日志文件的命名规则:【框架名称-用户名-进程名-主机名.日志格式后缀】

出错一定要学会看日志,看错误信息,看.log的日志

9、Hadoop自带历史服务器

配置:mapred-site.xml

<property> <name>mapreduce.jobhistory.address</name> <value>hadoop-senior.ibeifeng.com:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop-senior.ibeifeng.com:19888</value> </property>

启动历史服务器:sbin/mr-jobhistory-daemon.sh start historyserver

10、日志聚集

日志聚合是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚合功能需要额外的配置。

yarn-site.xml

<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property>

单位:秒

重启resourcemanager、nodemanager和historyserver:

sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh start historyserver

11、HDFS用户权限检查

hdfs-site.xml

<property> <name>dfs.permissions.enabled</name> <value>false</name> </property>

core-site.xml

<property> <name>hadoop.http.staticuser.user</name> <value>beifeng</value> </property>

重启namenode、datanode、resourcemanager、nodemanager和historyserver:

sbin/hadoop-daemon.sh stop namenode

sbin/hadoop-daemon.sh stop datanode

sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh start historyserver

12、SecondaryNameNode

NameNode启动后的元数据存放在内存中,启动前的元数据存放在本地文件系统文件中。

HDFS格式化后生成fsimage镜像文件,其中存放文件系统元数据,NameNode会读取此元数据,并存放在内存中。

edits文件,编辑日志文件,用于保存用户对于HDFS文件系统的每一步行为操作。

NameNode启动后,先读取fsimage镜像文件,得到元数据,再读取edits日志文件,数据就不会丢失。

SecondaryNameNode用于减少NameNode重启的时间、合并文件,SecondaryNameNode读取两类文件,加载到内存,写到一个新的fsimage镜像文件,然后再生成一个edits编辑日志文件,每隔一段时间将新生成的fsimage和新生成的edits合并成一个fsimage镜像文件,即每隔一段时间获取HDFS元数据的快照,这样NameNode重启只需要读取内存中的fsimage镜像文件即可,读取镜像文件比读取日志文件快很多。

hdfs-site.xml

<property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop-senior.ibeifeng.com:50090</value> </property>

启动命令:$ sbin/hadoop-daemon.sh start secondarynamenode

13、块文件存放地址

/opt/modules/hadoop-2.5.0/data/tmp/dfs/data/current/BP-2012260383-192.168.74.128-1516569449179/current/finalized

镜像文件、日志文件存放地址

/opt/modules/hadoop-2.5.0/data/tmp/dfs/name/current

dfs.blocksize自定义块大小属性(单位字节),在hdfs-site.xml中

14、SSH免密码登陆

使用sbin/start-dfs.sh脚本文件启动namenode、datanode和secondarynamenode时,需要输入用户密码,使用SSH免密码登陆的话,就给用户生成公钥和私钥,用户将自己的公钥储存在远程主机上,将公钥发到需要登陆的服务器,当需要登陆时,远程主机会向用户发送一段随机字符串,用户用自己的私钥加密后,再发回去,远程主机用事先存储的公钥进行解密,如果解密成功,就证明用户是可信的,直接允许登陆shell,不再要求密码。

配置SSH免密码登陆:

cd home/beifeng/.ssh

ssh-keygen -t rsa

即生成id_rsa和id_rsa.pub文件,其中id_rsa是私钥,id_rsa.pub是公钥。

ssh-copy-id hadoop-senior.ibeifeng.com

即生成authorized_keys和known_hosts文件,其中authorized_keys是向远程主机发送的用户公钥,known_hosts是记录文件,有记录文件就不需要再输入密码了。

15、Hadoop配置常见错误

<1>不要多次格式化namenode,如需再次格式化,需要先删除data/tmp/下的所有文件。

<2>集群ID不一致,即

/opt/modules/hadoop-2.5.0/data/tmp/dfs/name/current/VERSION

/opt/modules/hadoop-2.5.0/data/tmp/dfs/data/current/VERSION

两文件中的clusterID不一致,这是由于多次格式化导致的,解决方法可以如<1>,也可以依据namenode中的clusterID来修改datanode中的clusterID。

<3>端口号被占用,使用netstat -tlun查看。

<4>多用户混用。即/tmp目录下有多个用户的pid,多个用户在各自的环境中启动了同一个进程,造成pid文件冲突。解决方法:将/tmp目录下的.pid文件全部删除,再用一个用户启动进程。

16、Hadoop配置文件

Hadoop配置文件分为默认的和自定义的,每个模块对应一个文件。

系统启动会先加载默认配置文件。默认配置文件存放在jar包中,/opt/modules/hadoop-2.5.0/share/hadoop/common/hadoop-common-2.5.0.jar中存放有core-default.xml,/opt/modules/hadoop-2.5.0/share/hadoop/hdfs/hadoop-hdfs-2.5.0.jar中存放有hdfs-default.xml,/opt/modules/hadoop-2.5.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.5.0.jar中存放有mapred-default.xml,/opt/modules/hadoop-2.5.0/share/hadoop/yarn/hadoop-yarn-common-2.5.0.jar中存放有yarn-default.xml。

自定义配置文件优先级高于默认配置文件,如果自定义配置文件中有配置,会覆盖默认配置文件中的相应属性。

17、安装rz工具

切换到root用户后,用yum安装lrzsz。rz工具用于将Windows中的文件上传到虚拟机中,如CentOS中,只能在远程工具中使用,不能在虚拟机中使用。

su

password:

yum -y install lrzsz

18、遇到的问题

我的虚拟机IP地址为192.168.74.128,hostname为hadoop-senior.ibeifeng.com,在成功启动了namenode、datanode、resourcemanager、nodemanager、historyserver之后,物理机的浏览器可以输入http://192.168.74.128:50070后可以正常访问HDFS管理界面,但是输入http://hadoop-senior.ibeifeng.com:50070之后提示“网页无法访问”。原因是我的物理机上的C:\\Windows\System32\drivers\etc\下的hosts文件没有做虚拟机的主机名和虚拟机的IP地址的映射,用Administrator账户登录,并修改hosts文件即可。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券