HPDFS on Docker

Hadoop伪分布式文件系统

HPDFS:Hadoop Pseudo Distributed File System,是我自己构建的Docker HDFS镜像,可以快速搭建一个Hadoop伪分布式文件系统,适合初学者和探索学习、或者测试,不能用于生产环境。

GitHub地址:Dockerq/docker(https://github.com/dockerq/docker-hdfs) by adolphlwq(https://github.com/adolphlwq)

Step

1. 安装必备软件,并配置好Java环境变量

  • openssh-server
  • openssh-client
  • rsync
  • openjdk-8-jre
  • curl
  • sudo

2. 下载解压hadoop 2.6.0

3. 修改SSH配置

  • 允许root登录:sed -i "28s/.*/PermitRootLogin yes/g" /etc/ssh/sshd_config(Dockerfile中)
  • 修改sshd的端口(容器net模式为host时,并且主机也运行sshd时会冲突)
  • 取消主机验证:sed -i "35s/.*/ StrictHostKeyChecking no/g" /etc/ssh/ssh_config(entrypoint.sh中)
  • ssh无密码登录到localhost

4. 下面就可以构建/运行镜像了

Usage

1. quick start

docker run -d --net host --name hdfs dockerq/docker-hdfs

浏览器浏览 localhost:50070查看HDFS的WebUI界面

2. 挂载数据卷

容器中hdfs的datanode和namenode默认文件夹是/hdfsdata

docker run -d --name --net host -v host_data_path:/hdfsdata dockerq/docker-hdfs

3. 修改sshd默认端口

docker run -d --net host -e SSH_PORT=2222 --name hdfs dockerq/docker-hdfs

本文分享自微信公众号 - 机器学习与系统(aimlsystem),作者:adolphlwq

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Ambari on Docker

    1.从GitHub上下载ambari文件到本地,https://github.com/sequenceiq/docker-ambari

    黑白格
  • Docker on CentOS for beginners

    绿巨人
  • Docker EE 安装 on centos7

    有两种方法可以 在Centos上安装和升级Docker企业版(Docker EE):

    羽客
  • Docker Compose 安装 on centos7

    github地址:https://github.com/docker/compose/releases。这里下载1.22.0版本。

    羽客
  • SQL Server on Linux by Docker

    最开是测试连接是使用了 Navicat 和 SQL Server Management Studio 均无法比较正常的连接和使用,最后在网上查到了,使用VS c...

    李郑
  • Docker on Database 你瞎了吗?

    Docker 数据库,赶时髦也先清楚肚子里面的墨水能不能驾驭这样的“时髦”。 本人是非常反感的,All Database in Docker ,

    AustinDatabases
  • Docker On Gaia——腾讯Docker管理解决方案

    要问2015年什么最火,耐人寻味的股票走势?黄晓明baby领证?Apple Watch 销量会有多好?我无法准确回答你,每个人心中都有自己的答案。不过要问技术领...

    腾讯大数据
  • 学习docker on windows (1): 为什么要使用docker

    为什么要用Docker? 如果我们想使用某种pc软件, 那么在互联网上查找并安装软件的流程大致如下图: ? 那么这就有几个问题要弄清楚: 从哪里获得软件 Ap...

    solenovex
  • Java微服务之Spring Boot on Docker

    本文学习前提:Java, Spring Boot, Docker, Spring Cloud

    Edison Zhou
  • Docker cp 提示“no space left on device”

    今天在测试一个功能,需要频繁的替换一个 docker 容器内的一个文件,因为还处在测试阶段,所以我就没有频繁的构建 docker 镜像了;在前几次执行docke...

    张琳兮
  • .NET Core微服务之ASP.NET Core on Docker

      Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、...

    Edison Zhou
  • Docker 学习资源整理

    Awesome Docker A curated list of Docker resources and projects Inspired by...

    shaonbean
  • linux 什么是Docker Machine?

    Docker Machine is a tool that lets you install Docker Engine on virtual hosts, a...

    葫芦
  • docker-resources资源汇集相关项目博文

    docker资源汇总。英文版本链接 资源汇集 书籍 第一本Docker书 (7.4分) Docker —— 从入门到实践 (内容一般) The Docker B...

    guanguans
  • Docker学习笔记之Copy on Write机制

    Copy-On-Write简称COW,是一种用于程序设计中的优化策略。其基本思路是,从一开始大家都在共享同一个内容,当某个人想要修改这个内容的时候,才会真正把内...

    Jetpropelledsnake21
  • Ubuntu18重启docker服务失败问题备忘

    程序员欣宸
  • Docker 实战和基础架构

    Maybe you will see a few extra lines if your Docker install is brand new.

    Jintao Zhang
  • 15 个 Kubectl 现有命令使用技巧 - 拿来即用

    公众号: 云原生生态圈
  • [Docker Practical learning] 01 The basic concepts of docker

    The content of docker’s preliminary learning

    韩旭051

扫码关注云+社区

领取腾讯云代金券