hadoop 2.6伪分布安装

hadoop 2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置:

(安装JDK、创建用户、设置SSH免密码 这些准备工作,大家可参考hadoop 2.6全分布安装 一文,以下所有配置文件,均在$HADOOP_HOME/etc/hadoop目录下)

另外,如果之前用 yum install hadoop安装过低版本的hadoop,请先卸载干净(即:yum remove hadoop)

一、修改hadoop-env.sh

主要是设置JAVA_HOME的路径,另外按官网说法还要添加一个HADOOP_PREFIX的导出变量,参考下面的内容:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64 export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.0

二、修改core-site.xml

 1 <configuration>
 2     <property>
 3       <name>fs.defaultFS</name>
 4       <value>hdfs://172.xx.xx.xxx:9000</value>
 5     </property>
 6     <property>
 7       <name>hadoop.tmp.dir</name>
 8       <value>/home/hadoop/hadoop-2.6.0/tmp</value>
 9     </property>
10 </configuration>

上面的IP,大家换成自己的IP即可, 另外注意:临时目录如果不存在,请先手动mkdir创建一个

三、修改hdfs-site.xml

 1 <configuration>
 2   <property>
 3     <name>dfs.datanode.ipc.address</name>
 4     <value>0.0.0.0:50020</value>
 5   </property>
 6   <property>
 7     <name>dfs.datanode.http.address</name>
 8     <value>0.0.0.0:50075</value>
 9   </property>
10   <property>
11     <name>dfs.replication</name>
12     <value>1</value>
13   </property>
14 </configuration>

注:如果只需要跑起来即可,只需要配置dfs.replication即可,另外二个节点,是为了方便eclipse里,hadoop-eclipse-plugin配置时,方便通过ipc.address连接,http.address则是为了方便通过浏览器查看datanode

四、修改mapred-site.xml

伪分布模式下,这个可以不用配置

五、修改yarn-site.xml

1 <configuration>
2   <property>
3     <name>yarn.nodemanager.aux-services</name>
4     <value>mapreduce_shuffle</value>
5   </property>
6 </configuration>

可以开始测试了:

1.先格式化

bin/hdfs namenode –format

2、启动dfs、yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

然后用jps查看java进程,应该能看到以下几个进程:

25361 NodeManager 24931 DataNode 25258 ResourceManager 24797 NameNode 25098 SecondaryNameNode

还可以用以下命令查看hdfs的报告:

bin/hdfs dfsadmin -report 正常情况下可以看到以下内容

Configured Capacity: 48228589568 (44.92 GB) Present Capacity: 36589916160 (34.08 GB) DFS Remaining: 36589867008 (34.08 GB) DFS Used: 49152 (48 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Live datanodes (1): Name: 127.0.0.1:50010 (localhost) Hostname: dc191 Decommission Status : Normal Configured Capacity: 48228589568 (44.92 GB) DFS Used: 49152 (48 KB) Non DFS Used: 11638673408 (10.84 GB) DFS Remaining: 36589867008 (34.08 GB) DFS Used%: 0.00% DFS Remaining%: 75.87% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Tue May 05 17:42:54 CST 2015

3、web管理界面查看

http://localhost:50070/

http://localhost:8088/

4、在hdfs中创建目录

bin/hdfs dfs -mkdir /x

这样就在hdfs中创建了一个目录x

5、向hdfs中放入文件

bin/hdfs dfs -put README.txt /x

上面的命令会把当前目录下的README.TXT放入hdfs的/x目录中,在web管理界面里也可以看到该文件

参考文档:Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java3y

WebService就是这么简单

WebService介绍 首先我们来谈一下为什么需要学习webService这样的一个技术吧…. 问题一 如果我们的网站需要提供一个天气预报这样一个需求的话,那...

5.7K150
来自专栏Java3y

从零开始写项目第二篇【登陆注册、聊天、收藏夹模块】

登陆模块目标 我要将其弄成类似的登陆,功能是要比较完善的。 ? 本来我是想做一步写一步的,但是发现这样文章就会太乱,因为要改的地方太多了。前面写过的,后边就被修...

1.2K80
来自专栏一个爱瞎折腾的程序猿

在asp.net core2.1中添加中间件以扩展Swashbuckle.AspNetCore3.0支持简单的文档访问权限控制

在此之前的接口项目中,若使用了 Swashbuckle.AspNetCore,都是控制其只在开发环境使用,不会就这样将其发布到生产环境(安全第一) 。 那么,...

19010
来自专栏行者悟空

利用zookeeper实现服务上线(离线)自动感知

34620
来自专栏坚毅的PHP

jersey处理支付宝异步回调通知的问题:java.lang.IllegalArgumentException: Error parsing media type 'application/x-www

tcpflow以流为单位分析请求内容,非常适合服务器端接口类服务查问题 这次遇到的问题跟支付宝支付后的回调post结果有关 淘宝的代码例子: publi...

64450
来自专栏NetCore

Struts原理与实践

一、JDBC的工作原理 Struts在本质上是java程序,要在Struts应用程序中访问数据库,首先,必须搞清楚Java Database Connect...

24280
来自专栏散尽浮华

Linux系统下的用户密码设定梳理

随着linux使用的普遍,对于linux用户以及系统的安全要求越来越高,而用户密码复杂程度是系统安全性高低的首要体现。因此如何对linux下用户的密码进行规则限...

37590
来自专栏木宛城主

基于Socket的网络聊天室编程(第一版)

一:什么是套接字 在网络编程中最常用的方案便是Client/Server (客户机/服务器)模型。在这种方案中客户应用程序向服务器程序请求服务。一个服务程序通常...

35750
来自专栏岑玉海

Hadoop源码系列(一)FairScheduler申请和分配container的过程

1、如何申请资源 1.1 如何启动AM并申请资源 1.1.1 如何启动AM val yarnClient = YarnClient.createYarnClie...

48040
来自专栏比原链

Derek解读Bytom源码-启动与停止

Gitee地址:https://gitee.com/BytomBlockchain/bytom

14330

扫码关注云+社区

领取腾讯云代金券