展开

关键词

Windows下安装Hadoop

Windows10下安装Hadoop2.6,Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤,以及相关包或者软件下载安装过程。 Windows版本支持情况:Hadoop官方人员开发、测试环境分别是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。 因为服务器型号win32位的API相似,所以官方推测Windows7或者Windows Vista应该也是支持的。Windows XP Hadoop官方不测试也不支持。 总之,Windows版本的Hadoop需要在2.2之后可自行编译,并且不支持Windows XP,在其他Windows平台下,官方不予严格的支持(仅仅提供二进制文件,部分组件需要自行编译)。 以下内容是具体实施,Hadoop集群在Windows环境下支持情况调研与测试部署,罗列了Windows实际部署情况,以及所遇到的问题和解决方案。 1.

4.3K60

Windows平台下安装Hadoop

2、安装Cygwin   Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/   根据操作系统的需要下载 7、安装Hadoop    hadoop官网下载http://hadoop.apache.org/releases.html。    /tmp</value>   </property> </configuration> 8、启动Hadoop   打开Cgywin窗口,执行cd ~/hadoop命令,进入hadoop文件夹,如下图: 启动Hadoop前,需要先格式化Hadoop的文件系统HDFS,执行命令:bin/hadoop namenode -format   注意namenode要小些,否则如果输入NameNode,会提示错误 参考文献: 本文参考和引用了《Hadoop实战》(作者:陆嘉恒)中的章节“2.3在Windows上安装与配置Hadoop”。 特此声明,如果涉及到版权问题,请告知。

44410
  • 广告
    关闭

    腾讯云校园大使火热招募中!

    开学季邀新,赢腾讯内推实习机会

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Windows平台下安装Hadoop

    2、安装Cygwin   Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/   根据操作系统的需要下载 7、安装Hadoop    hadoop官网下载http://hadoop.apache.org/releases.html。    /tmp</value>   </property> </configuration> 8、启动Hadoop   打开Cgywin窗口,执行cd ~/hadoop命令,进入hadoop文件夹,如下图: 启动Hadoop前,需要先格式化Hadoop的文件系统HDFS,执行命令:bin/hadoop namenode -format   注意namenode要小些,否则如果输入NameNode,会提示错误 参考文献: 本文参考和引用了《Hadoop实战》(作者:陆嘉恒)中的章节“2.3在Windows上安装与配置Hadoop”。 特此声明,如果涉及到版权问题,请告知。

    596110

    Windows Docker 安装部署 Hadoop(二)

    路径 Windows: F:-site.xml <? ,再复制到容器中替换原文件 Windows: F:-site.xml <? ,再复制到容器中替换原文件 Windows: F:-site.xml <? ,再复制到容器中替换原文件 Windows: F:-site.xml <? : https://moeci.com/posts/分类-docker/windows-docker-install-hadoop-2/ 版权声明: 本博客所有文章除特别声明外,均采用 BY-NC-SA

    18410

    Windows搭建HDFS 2.6.0(附加搭建Hadoop)

    环境 操作系统: Windows 7 JDK版本: 1.8.0_221 Hadoop版本: 2.6.0 2. 下载 Hadoop官网下载 ? ? 3. 前期准备 3.1. \etc\hadoop\core-site.xml 排坑: Windows下URI路径前要加/,例如:/E:/soft_work/hadoop-2.6.0/data/hdfs 解决办法详见: Windows \sbin\start-dfs.cmd 排坑: 启动hdfs时出现找不到文件hadoop 解决办法详见: Windows启动HDFS报错 - 系统找不到文件 hadoop。 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 解决办法详见: Windows启动HDFS报错 $Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0

    55130

    Windows中Eclipse中Hadoop2.6.0配置

    Windows10(64位)中Eclipse Luna Service Release 2 (4.4.2 64位)中Hadoop2.6.0配置 1 系统配置     Windows10(64位)      4 Hadoop配置     4.1 解压Hadoop文件,在bin目录中配置hadoop.dll和winutils.exe,这两个插件下载地址:https://codeload.github.com/ 同时将winutils.exe在Windows的system32目录下放一份,然后重启电脑生效。      $Windows.access0(Ljava/lang/String;I)Z     at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0( Native Method)     at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:570)     at

    42950

    windows搭建hadoop分布式系统架构

    1、下载hadoop的安装包:http://hadoop.apache.org/->Releases->mirror site 2、解压安装包:将下载包解压到指定目录,并添加环境变量;解压出来一个目录: D:\hadoop-3.1.0,将bin路径配置到环境变量中。 然后下载window相关支持工具类,https://share.weiyun.com/5RPjxnh,解压后把文件全部copy到D:\hadoop-2.9.0\bin目录,将hadoop.dll再复制到 c:/windows/System32目录 3、修改配置文件  配置Java_home环境变量 文件地址:D:\hadoop-3.1.0\etc\hadoop下的D:\hadoop-3.1.0\etc\ hadoop\hadoop-env.cmd image.png 注意事项:hadoop配置不识别空格 需要加引号,"C:\Program Files" \Java\jdk1.8.0_91 不然在后续操作会报错

    28150

    Windows下搭建Spark+Hadoop开发环境

    下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装) 下载地址:http://apache.fayea.com/hadoop/common/hadoop -2.7.1/ 下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录。 下载支持插件 下载地址:https://github.com/ShixiangWan/winutils,其中有很多个Hadoop版本,这里我们以其中的Hadoop2.7.1稳定版为例。 覆盖hadoop.dll 将插件bin目录下的hadoop.dll复制到C:\Window\System32下。 二. 环境变量配置 1. 增加环境变量HADOOP_HOME,指向Hadoop安装根目录; 2. 在Path变量中添加%HADOOP_HOME%\bin; 3.

    6620

    解决Windows环境下hadoop集群的运行

    解决Windows环境下Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z ? 需要3个步骤: 1.设置hadoopwindows上的环境(这里我安装的是hadoop-2.7.1) ? 2.配置相对应的pom.xml文件 <? > <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId > <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core 文件复制到windows/System32目录下 ?

    14720

    Windows启动HDFS报错 - 系统找不到文件 hadoop

    环境 操作系统: Windows 7 Hadoop版本: 2.6.0 2. 问题描述 Windows 7 环境下启动 HDFS,执行 start-dfs.cmd 出现 系统找不到文件 hadoop。 报错信息如下 dos E:\soft_work\hadoop-2.6.0\sbin>start-dfs.cmd 系统找不到文件 hadoop。 系统找不到文件 hadoop。 解决方案 3.1 方案一(推荐) 添加HADOOP_HOME环境变量并添加到PATH中 ? ? 3.2 方案二 修改 . @rem cd E:\soft_work\hadoop-2.6.0\bin setlocal enabledelayedexpansion if not defined HADOOP_BIN_PATH ( set HADOOP_BIN_PATH=%~dp0 ) ...

    1.4K20

    Windows平台下安装Eclipse插件,开发Hadoop应用

    安装插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。 重启eclipse,打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图。 设置连接参数 打开windows->show view->other-> map/reduce Locations视图,在点击大象后弹出的对话框(General tab)进行参数的添加: ? hadoop.tmp.dir:与core-site.xml里hadoop.tmp.dir设置一致。 hadoop.job.ugi:并不是设置用户名与密码。 这个原因是我使用地本用户Administrator(我是用管理员用户登陆来地windows系统的)进行远程hadoop系统操作,没有权限。

    32180

    实战 windows7 下 eclipse 远程调试 linux hadoop

    恩,之所以有这篇博客,是因为最近又有童鞋咨询怎么在 windows 7 下用eclipse远程调试部署在linux下的hadoop,其实我自己不这么混搭的,既然有童鞋这么问了,那我就索性随着折腾一把了。 (FileUtil.java:682) 这是由于Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。 http://vdisk.weibo.com/s/xEJGZ ok,到此你现在应该可以在windows7下远程调试你的hadoop代码了,如果没有成功,请仔细核对各个步骤、各个配置项,Good Luck /topics/download/04aca317-2d9f-3a95-90bf-ec569eb38bbc windows上编译eclipse-plugin for hadoop-0.20.2-cdh3u3 Hadoop学习笔记(九):如何在windows上使用eclipse远程连接hadoop进行程序开发 http://www.cnblogs.com/beanmoon/archive/2013/01/05

    59580

    Windows环境下安装Hadoop+Hive的使用案例

    ------------配置文件---------------------------- 使用编辑器打开E:\Hadoop2.7.7\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd   /E:/Hadoop2.7.7/hadoop-2.7.7/data/namenode  dfs.datanode.data.dir  /E:/Hadoop2.7.7/hadoop-2.7.7/data 还需要把hadoop.dll(从)拷贝到 C:\Windows\System32  ? hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs -mkdir /user D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs \hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs -mkdir /tmp D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs

    3.5K20

    Hadoop学习5--配置本地开发环境(Windows+Eclipse)

    一、导入hadoop插件到eclipse 插件名称:hadoop-eclipse-plugin-2.7.0.jar 我是从网上下载的,还可以自己编译。 右侧路径是你本地的hadoop安装路径。 成功后,左侧菜单的Project Explorer里,出现了DFS Locations 三、我遇到的问题 1、提示无法连接到集群服务器的某一个端口 其实这里有个一个非常简单的验证方法,在本机(windows 山穷水尽的时候,放弃了这条路,想着,暂时就不使用eclipse远程连接使用了,我手动打代码,编译,然后不也就能看下真正的hadoop执行效果了吗? 接下来,发生了不可思议的事情。。。 在hadoop fs下创建了文件夹后,无意中在eclipse里那个(0)文件夹上刷新了一下,文!件!出!现!了!

    54880

    windows下使用eclipes连接linux下的Hadoop集群

    hadoop 是工作在linux下的分布式系统,做为一个开发者,对于手里资源有限,不得不使用只有终端的虚拟机来运行hadoop集群。但是,在这种环境下,开发,调试就变得那么的不容易了。 那么,有没有办法在windows下发调试呢。答案是肯定的。 hadoop为我们提供了一个Eclipes插件,使用我们可以在Eclipse环境下开发,调试hadoop程序,那么,应该如何安装eclipse-hadoop插件呢。 1、编译eclipse-hadoop-plugins          在hadoop目录下的找到/src/contrib/eclipse-plugin,用eclipse导入该project, ?   在hadoop的目录和其lin目录找到下面的jar,并加入 ?

    33850

    Windows环境下 Hadoop Error: JAVA_HOME is incorrectly set. 问题

    最近尝试在windows使用Hadoop,在解压缩好hadoop,配置好环境变量后, 打开cmd 输入hadoop version 的时候出现以下错误: Error: JAVA_HOME is incorrectly Please update F:\hadoop\conf\hadoop-env.cmd 出现这个问题,我首先打了下java -version java version "1.8.0_91" Java( 25.91-b15, mixed mode) 可以正确执行 然后确认了一下环境变量,貌似也没有错,JAVA_HOME的值为 C:\Program Files\Java\jdk1.8.0_91 怎么跑到hadoop 修改过以后测试OK~ 原文转自:http://blog.csdn.net/wen3011/article/details/54907731 版权所有:可定博客 © WNAG.COM.CN 本文标题:《Windows 环境下 Hadoop Error: JAVA_HOME is incorrectly set.

    37810

    Windows启动HDFS报错 - org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(LjavalangString;I)Z

    环境 操作系统: Windows 7 Hadoop版本: 2.6.0 2. 问题描述 Windows 7 环境下启动 HDFS,执行 start-dfs.cmd 出现 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0( $Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0 (Native Method) at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:606) $Windows.access0(Ljava/ lang/String;I)Z 2020-10-13 16:59:34,534 INFO namenode.NameNode: SHUTDOWN_MSG:

    1.2K20

    hadoop(1):hadoop概述

    ---- hadoop概述 hadoop是 Doug Cutting 在 Lucene 之后的一个项目 主要用于 计算 是一个 开源,可靠,可扩展 的分布式计算框架 主要有 hdfs 也就是 ,只是时间会长很多 yarn 分布式资源调度 当然,hadoop1 和 hadoop2 的一些名词有变化 但是,对应的实现,是没有太大区别的 好处是,可以多台机器同时处理,通过心跳去及时获取计算结果 ---- hadoop的场景 一般可以用于 日志分析 海量数据的计算 复杂算法 搜索引擎 dsp获取的个人数据以及为行为分析提供数据 对应的hadoop生态圈 ? 核心 Hadoop Common 很多项目都有common模块 常用的基础,都放在里面 Hadoop HDFS hadoop的 dfs(Distributed File System)分布式文件系统 Hadoop MapReduce 分布式离线并行计算框架 也就是核心想法(先Map,再reduce) Hadoop YARN 新的MapReduce框架, 任务调度,资源管理 ---- hdfs相关

    32530

    hadoophadoop目录结构

    13920

    Windows10系统下Hadoop和Hive开发环境搭建填坑指南

    前提 笔者目前需要搭建数据平台,发现了Windows系统下,Hadoop和Hive等组件的安装和运行存在大量的坑,而本着有坑必填的目标,笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10 软件 版本 备注 Windows 10 操作系统 JDK 8 暂时不要选用大于等于JDK9的版本,因为启动虚拟机会发生未知异常 MySQL 8.x 用于管理Hive的元数据 Apache Hadoop -3.3.0 HadoopWindows系统下的启动依赖 下面列举部分组件对应的下载地址: Apache Hadoop 3.3.0:https://mirror.bit.edu.cn/apache/ 出现这类问题可以通过下面方式解决: Win + R然后运行gpedit.msc - 计算机设置 - Windows设置 — 安全设置 - 本地策略 - 用户权限分配 - 创建符号链接 - 添加当前用户。 小结 没什么事最好还是直接在Linux或者Unix系统中搭建Hadoop和Hive的开发环境比较合理,Windows系统的文件路径和权限问题会导致很多意想不到的问题。

    74040

    相关产品

    • 弹性 MapReduce

      弹性 MapReduce

      弹性MapReduce (EMR)结合云技术和  Hadoop等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或 COS 上的 PB 级海量数据……

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券