Apache hadoop集群部署 原

1.修改主机名

hostname 主机名(实时生效、重启失效) /etc/sysconfig/network(永久生效、需要重启)

2.修改/ets/hosts

192.168.1.238  JZYH-COLLECTOR-LTEMR1-OSS 192.168.1.239  JZYH-COLLECTOR-LTEMR2-OSS 192.168.1.240  JZYH-COLLECTOR-SCHE1-OSS 192.168.1.241  JZYH-COLLECTOR-LTEMR3-OSS

3.修改配置文件

    * hdfs          * hadoop-env.sh          * core-site.xml          * hdfs-site.xml          * slaves     * yarn          * yarn-env.sh          * yarn-site.xml          * slaves     * mapredue          * mapred-env.sh          * mapred-site.xml

4.配置免登录(每台机器分别执行)

ssh-keygen -t rsa(四个回车) ssh-copy-id JZYH-COLLECTOR-LTEMR1-OSS ssh-copy-id JZYH-COLLECTOR-LTEMR2-OSS ssh-copy-id JZYH-COLLECTOR-SCHE1-OSS ssh-copy-id JZYH-COLLECTOR-LTEMR3-OSS 测试 ssh nwom@JZYH-COLLECTOR-LTEMR3-OSS

5.分发

scp -r ./hadoop-2.5.0/ nwom@JZYH-COLLECTOR-LTEMR1-OSS:/opt/nwom/hadoop scp -r ./hadoop-2.5.0/ nwom@JZYH-COLLECTOR-LTEMR2-OSS:/opt/nwom/hadoop scp -r ./hadoop-2.5.0/ nwom@JZYH-COLLECTOR-SCHE1-OSS:/opt/nwom/hadoop

6.启动集群

cd /opt/nwom/hadoop/hadoop-2.5.0/ bin/hdfs namenode -format(NameNode节点240) sbin/start-dfs.sh (NameNode节点240) http://192.168.1.240:50070 sbin/start-yarn.sh (Yarn节点238) http://192.168.1.238:8088 sbin/mr-jobhistory-daemon.sh start historyserver(240)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏尚国

Healwire Online Pharmacy 3.0 Cross Site Request Forgery / Cross Site Scripting

Healwire Online Pharmacy version 3.0 suffers from cross site request forgery and...

14520
来自专栏ZKEASOFT

.Net Core使用HttpClient请求Web API注意事项

使用HttpClient可以很方便的请求Web API,但在使用时有一些需要注意的地方,不然会给你的程序带来毁灭性的问题。

18340
来自专栏Jerry的SAP技术分享

C4C销售订单中业务伙伴的自动决定功能Partner determination procedure

例子:我新建一个Sales Order,account 字段选择ID为1001的Account:Porter LLC

11330
来自专栏女程序员的日常

坏块管理(Bad Block Management,BBM)

  看了很多坏块管理的文章,加上自己的理解,把整个坏块管理做了个总结。 坏块分类 1、出厂坏块   又叫初始坏块,厂商会给点最小有效块值(NVB,mininum...

26210
来自专栏王磊的博客

asp.net 操作ftp 通用代码[测试通过]

代码如下: // 建立目录 FtpWebRequest Request = (FtpWebRequest)WebRequest.Crea...

33640
来自专栏Django Scrapy

端口的常用端口

端口号---具有网络功能的应用软件的标识号。注意,端口号是不固定的,即可以由用户手工可以分配(当然,一般在软件编写时就已经定义)。当然,有很多应用软件有公认的默...

90950
来自专栏程序员互动联盟

【专业知识】Android主线程的消息系统(Handler\\Looper)

前言: 之前的文章写的都是关于Bitmap和内存的优化技术,这一篇文章给大家谈谈Handler。 Handler是Android系统中比较重要的一个知识,在A...

33370
来自专栏刺客博客

TCP/UDP常用端口列表

93940
来自专栏云霄雨霁

传输层协议UDP和TCP

18300
来自专栏Hadoop实操

HDFS运行Balancer失败及问题解决办法

本文主要讲述如何解决HDFS运行Balancer提示“Another Balancer is running..”导致Balancer失败的问题。

34220

扫码关注云+社区

领取腾讯云代金券