hadoop1.2.1伪分布模式配置

1、修改core-site.xml,配置hdfs

 1 <configuration>
 2  <property>
 3   <name>fs.default.name</name>
 4   <value>hdfs://localhost:9000</value>
 5  </property>
 6  <property>
 7   <name>hadoop.tmp.dir</name>
 8   <value>/home/jimmy/Desktop/tmp</value>
 9  </property>
10 </configuration>

注:

a) fs.default.name对应的value是hdfs的ip和端口,只要端口不被占用即可 b) hadoop.tmp.dir对应的value是hadoop临时文件的保存目录(根据需要修改成实际目录)

2、修改hdfs-site.xml,配置数据备份

1 <configuration>
2     <property>
3         <name>dfs.replication</name>
4         <value>1</value>
5     </property>
6 </configuration>

注:这是配置写数据时,数据同时写几份(出于学习目的,这里只写一个副本,实际应用中,至少配置成3)

3、修改mapred-site.xml

1 <configuration>
2     <property>
3         <name>mapred.job.tracker</name>
4         <value>localhost:9001</value>
5     </property>
6 </configuration>

注:这是配置map/reduce服务器ip和端口

4、配置ssh

注:因为伪分布模式下,即使所有节点都在一台机器上,hadoop也需要通过ssh登录,这一步的目的是配置本机无密码ssh登录

命令行:ssh-keygen -t rsa

然后一路回车

cd ~/.ssh

cat id_rsa.pub>>authorized.keys

测试:ssh localhost

首次运行会提示是否继续,输入yes,回车,如果不要求输入密码,就表示成功了

5、首次运行,格式化hdfs

<HADOOP_HOME>/bin/hadoop namenode -format

6、启动单节点集群

<HADOOP_HOME>/bin/hadoop start-all.sh

如果没问题的话,命令行输入jps,可以看到5个进程:

jimmy@ubuntu:~/Desktop/soft/hadoop-1.2.1$ jps 13299 TaskTracker 13071 SecondaryNameNode 13363 Jps 13160 JobTracker 12786 NameNode 12926 DataNode

停止的话,类似的 bin/hadoop stop-all.sh

7、查看状态

http://localhost:50030/ 这是Hadoop管理界面

http://localhost:50060/ 这是Hadoop Task Tracker 状态

http://localhost:50070/ 这是Hadoop DFS 状态

8、伪分布模式下运行Hadoop自带的wordcount

注:以下命令的当前目录都是hadoop根目录

a) 先随便准备一个txt文件,比如hadoop下自带的README.txt

b) hdfs中创建一个输入目录input

bin/hadoop fs -mkdir input (注:hdfs中的命令跟linux终端中的文件操作命令基本类似,但是前面要加fs)

c) 将README.txt放到hdfs的input目录中

bin/hadoop fs -put ./README.txt input

这时,如果在浏览器里用http://localhost:50070/ 浏览hdfs文件列表的话,可以看到刚才放进去的文件

d)执行wordcount示例程序

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount /user/jimmy/input/README.txt /user/jimmy/output (注:这里的jimmy为hadoop运行时的用户名,根据需要换成自己的实际用户名)

e)从hdfs中取回文件到本地

bin/hadoop fs -get /user/jimmy/output ~/Desktop/ (这样,就把运算结果output中的文件,取到本地桌面了)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何在CDH5.14中安装CDSW1.3

2922
来自专栏挖掘大数据

Hadoop3.0分布式集群安装知识

问题导读 1.本文是如何定义master的? 2.如何配置hadoop守护进程环境? 3.配置Hadoop守护进程需要哪些配置文件? 4.yarn-site配...

6165
来自专栏Hadoop实操

如何在CDH5.13中安装CDSW1.2

Cloudera前一段时间发布了CDH5.13版本,5.13的新功能可以参考前一篇文章《CDH5.13和CM5.13的新功能》,在CDH5.13版本以后支持CD...

4975
来自专栏about云

Hadoop3.0集群安装知识

问题导读 1.本文是如何定义master的? 2.如何配置hadoop守护进程环境? 3.配置Hadoop守护进程需要哪些配置文件? 4.yarn-site配...

3697
来自专栏IT技术精选文摘

Hadoop完全分布式搭建

6472
来自专栏乐沙弥的世界

Windows 2012配置故障转移(For SQLServer 2014 AlwaysOn)

单击”管理”菜单,选择”添加角色和功能” 单击”下一步”,选择”基于角色或基于功能的安装”,单击”下一步” 选择本地服务器,单击”下一步”,直到功能模块...

1302
来自专栏北京马哥教育

CentOS 6.5上搭建Hadoop环境详解

本文详细记录在开发服务器CentOS 6.5上搭建Hadoop的详细过程。 ssh连接免密码配置 由于配置过程中需要频繁的进行ssh连接到开发服务器执行命令以及...

3395
来自专栏Hadoop实操

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析

Fayson在之前的文章中介绍过《如何在Redhat7.4安装CDH6.0.0_beta1》,但当安装CDH并分发Parcel时,浏览器端会报错Parcel的h...

3772
来自专栏Hadoop实操

Impala动态资源池及放置规则使用

Fayson在前面的文章介绍了《如何启用Impala的动态资源池》。管理员可以通过Impala的动态资源池、放置规则及ACL控制不同的用户对Impala资源使用...

4134
来自专栏Hadoop实操

如何迁移CDH的opt目录

部分企业对OS的目录空间划分有严格的要求(如:/、/opt、/var等目录),CDH安装的安装目录默认是在/opt下,随着版本的升级和新组件的安装占用了大量的/...

1624

扫码关注云+社区

领取腾讯云代金券