Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Ubuntu12.10 安装hadoop1.0.4伪分布式

Ubuntu12.10 安装hadoop1.0.4伪分布式

原创
作者头像
知忆
修改于 2021-06-22 02:08:19
修改于 2021-06-22 02:08:19
2420
举报
文章被收录于专栏:linux百科小宇宙linux百科小宇宙

我是使用的虚拟机安装的,安装Ubuntu 12.10那就不说了,说一下简单的安装Hadoop1.0.4伪分布式的步骤。

Windows 7硬盘安装Ubuntu 12.10图文教程 http://www.linuxidc.com/Linux/2012-11/73500.htm

1、 安装jdk

安装方式参照 http://www.linuxidc.com/Linux/2013-01/77923.htm。

2、 安装SSH和配置免输入密码登陆

在ubuntu 12.10中可以使用sudo apt-get install ssh方式进行安装。如果出现问题的话,可以修改一下ubuntu的agt的源,我是改为163的源后才能正常安装的。百度很容易找到修改方式。

然后输入ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa,输入类似如下的内容

然后输入cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 命令。

3、讲hadoop1.0.4解压到某个目录下。

4、 修改配置文件:

进入hadoop-env.sh所在目录(/hadoop-1.0.4/conf/),对该文件进行如下内容的修改:export JAVA_HOME=/usr/java/jdk1.6.0_37。这里是你自己配置的jdk地址。

conf/core-site.xml:

   

        fs.default.name

        hdfs://localhost:9000

   

conf/hdfs-site.xml:

   

        dfs.replication

        1

   

conf/mapred-site.xml:

   

        mapred.job.tracke

        localhost:9001

   

5、 格式化namenode

输入命令bin/hadoop namenode -format

6、 启动hadoop

输入命令bin/start-all.sh

以上都是默认在hadoop目录中的文件。

使用http://localhost:50030、http://localhost:50070 进行验证

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
大数据笔记(三):HDFS集群搭建-伪分布式模式
白话解释SSH免秘钥 如果A 想  免密的登陆到B: A:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa B:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
Lansonli
2022/04/24
6230
大数据笔记(三):HDFS集群搭建-伪分布式模式
Hadoop伪分布式安装【翻译自Hadoop1.1.2官方文档】
1.Hadoop支持的平台: GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点。win32是一个开发平台,分布式操作还没有在win32系统上很好的测试, 所以它不被作为生产环境。 2.安装hdoop需要的软件:       linux和windows下安装hadoop需要的软件:
星哥玩云
2022/07/03
3380
hadoop分布式搭建
本文利用在VMware Workstation下安装Linux centOS,安装教程请看:
机器学习和大数据挖掘
2019/07/02
5890
CentOS 7 下搭建Hadoop 2.9 分布式集群
首先说明,本文记录的是搭建的3节点的完全分布式Hadoop集群的过程,环境是CentOS 7,1个nameNode,2个dataNode,如下:
星哥玩云
2022/07/24
2730
CentOS 7 下搭建Hadoop 2.9 分布式集群
Hadoop2.2.0 的安装和基本配置
Hadoop2.0的架构和1.0完全不一样,在安装配置上和1.0也有很大的不同,譬如配置文件的目录不一样了,还有要对yarn进行配置,这个在1.0是没有的。很多人第一次接触hadoop2.0的时候,会很不适应,而且官方的文档也有些写得不太清楚的地方,也有些错误。笔者在初次安装hadoop2.0的时候,看着官方的文档,中间也出现过很多问题。为了帮助大家很快的部署上hadoop2.0,笔者写了这篇文章。这篇文章主要就是介绍一个hadoop2.0的一个最基本最简单的配置,目的就是尽快的让hadoop2.0在机器上
小小科
2018/05/02
9240
Hadoop2.5.0伪分布式环境搭建
本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤。首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户、安装JDK、关闭防火墙等。
星哥玩云
2022/07/26
6470
Hadoop伪分布式的安装
Hadoop伪分布式一般用于学习和测试.生产环境一般不使用.(如有错误,欢迎批评指正)
星哥玩云
2022/06/30
3950
Hadoop-2.2.0中文文档——Hadoop MapReduce 下一代 —配置一个单节点集群
配置环境 假设你已经安装hadoop-common/hadoop-hdfs,并且输出了HADOOP_COMMON_HOME/HADOOP_HDFS_HOME,解压hadoop mapreduce 包,配置环境变量HADOOP_MAPRED_HOME到要安装的目录。HADOOP_YARN_HOME的配置和 注意:下面的操作假设你已经运行了hdfs。 设置配置信息 要启动ResourceManager and NodeManager, 你必须升级配置。假设你的 $HADOOP_CONF_DIR是配置目录,并且已经安装了HDFS和core-site.xml。还有2个配置文件你必须设置 mapred-site.xml 和yarn-site.xml. 设置 mapred-site.xml 添加下面的配置到你的mapred-site.xml.
星哥玩云
2022/06/30
2060
Hadoop伪分布式安装 Ubuntu 18.04
打开浏览器: http://localhost:50070/, 显示如下界面,成功
YingJoy_
2018/12/24
1.1K0
Hadoop 0.20.2 在Mac OS 10.9 环境下 pseudo distributed 配置
2. edit the file conf/hadoop-env.sh to define at least JAVA_HOME to be the root of your Java installation.
星哥玩云
2022/06/29
2000
Hadoop单机伪分布式部署
由于没有那么多机器,就在自己的虚拟机上部署一套Hadoop集群,这被称作伪分布式集群,但是不管怎么样,这里主要记录部署hadoop的过程以及遇到的问题,然后再使用一个简单的程序测试环境。
星哥玩云
2022/07/04
5150
CentOS 5.x单机安装Hadoop
花了近两天时间,终于把Hadoop的安装,实例运行实践了一遍。虽然还有很多东西都不大懂,但总算有了个好的开端,也算是对自己的一点安慰吧。
星哥玩云
2022/07/03
2450
hadoop1.2.1伪分布模式配置
1、修改core-site.xml,配置hdfs 1 <configuration> 2 <property> 3 <name>fs.default.name</name> 4 <value>hdfs://localhost:9000</value> 5 </property> 6 <property> 7 <name>hadoop.tmp.dir</name> 8 <value>/home/jimmy/Desktop/tmp</value> 9 </propert
菩提树下的杨过
2018/01/24
6200
hadoop1.2.1伪分布模式配置
centos 7下Hadoop 2.7.2 伪分布式安装
王小雷
2018/01/02
1.5K0
centos 7下Hadoop 2.7.2 伪分布式安装
Hadoop伪分布式搭建
1 系统环境 搭建的系统环境为centos7.5。 root@localhost ~]# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 7.5.1804 (Core) Release: 7.5.1804 Codename: Core 2 修改主机名 2.1 主机名修改为hadoop1。 [root@
用户1432189
2019/07/25
8860
Hadoop2.6安装配置以及整合Eclipse开发环境
4.sudochown -R castle:castle hadoop-2.6.0修改权限
星哥玩云
2022/07/04
3690
Hadoop伪分布式安装
进入文件之后,除了127.0.0.1以及::1这开头的两行以外,其余的行全部删除
青灯古酒
2023/10/16
4300
Ubuntu 14.04下安装Hadoop2.4.0 (伪分布模式)
在Ubuntu14.04下安装Hadoop2.4.0 (单机模式)基础上配置  http://www.linuxidc.com/Linux/2015-01/112370.htm
星哥玩云
2022/07/04
3200
Ubuntu 14.04下安装Hadoop2.4.0 (伪分布模式)
hdfs伪分布式搭建,伪分布式模式下yarn的配置及测验
1.安装前提条件 (1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量     vi ~/.bashrc      export JAVA_HOME=/usr/local/software/jdk1.8.0_141     export PATH=$JAVA_HOME/bin:$PATH (2)检查ssh和sshd是否安装,如果没有安装,   ubuntu下面安装ssh和sshd:     $ sudo apt-get install ssh     $ sudo apt-
stys35
2019/03/05
8010
2.1 Hadoop伪分布式安装部署
版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80700530
王小雷
2019/05/29
5720
相关推荐
大数据笔记(三):HDFS集群搭建-伪分布式模式
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档