前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一个集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机 安装操作系统是个不太轻松的任务，并且运行多个虚机对个人电脑性能也有一定要求，这些门槛影响了很多小伙伴的实践积极性 使用Docker的话就简单了，不用安装操作系统，直接下载一个镜像，如centos，这样
如果你要在本机做开发，配置IDE环境，想要连接到Docker中，推荐使用Docker toolBOX。docker for mac 版本没有docker0网桥。
开源云平台中的拼图“玩具” 对于云平台，如今基本就意味着开源。 提及开源技术，着实在云计算和大数据下“火”起来。面对扑面而来的云服务，无论是何种服务对于企业和用户来说都是“熟悉的陌生人”，“熟悉”是
随着 Uber 的业务持续增长，我们用了 5 年时间扩展 Apache Hadoop（本文中称为“Hadoop”），部署到了 21000 多台主机上，以支持多种分析和机器学习用例。我们组建了一支拥有多样化专业知识的团队来应对在裸金属服务器上运行 Hadoop 所面临的各种挑战，这些挑战包括：主机生命周期管理、部署和自动化，Hadoop 核心开发以及面向客户的门户。
好多人问我，这种「基于大数据平台的xxxx」的毕业设计要怎么做。这个可以参考之前写得关于我大数据毕业设计的文章大数据方向毕业设计，选题和实现思路。这篇文章是将对之前的毕设进行优化。
HPDFS:Hadoop Pseudo Distributed File System，是我自己构建的Docker HDFS镜像，可以快速搭建一个Hadoop伪分布式文件系统，适合初学者和探索学习、或者测试，不能用于生产环境。
1.YARN 结构 文档简介： Yarn的基本思想是拆分资源管理的功能，作业调度/监控到单独的守护进程 英文网址： http://hadoop.apache.org/docs/r2.7.
这种方式需要先安装 docker-compose, docker-compose 的安装网上已经有非常多的资料，请自行安装即可
1. docker 是什么2. docker 解决什么问题1. 解决虚拟机资源消耗问题。2. 快速部署。3. 提供一次性的环境。4. 提供弹性的云服务。5. 组建微服务架构。3. docker 安装部署与使用1. 安装 docker 引擎2. 使用 docker1. 理解 docker 的架构2. docker 命令3. 卷的概念4. 自制镜像并发布4. docker 网络6. docker pipework7. docker 网络端口映射4. 总结
最近一直在参加安徽省大数据与人工智能应用竞赛，因此学习了很长一段时间的大数据，也积攒了一些大数据的开发经验；工欲善其事，必先利其器，所以想要给准备学习大数据的同学总结一下自己在大数据开发中所用到的工具。
3台主机：1个master、2个slaver/worker ip地址使用docker默认的分配地址：
1、在docker中安装CentOS镜像，并启动centos容器，安装ssh。--详见"docker上安装centos镜像"一文。
本文深入解析 Docker 架构，重点关注 Docker 引擎和容器运行时。我们将从各个角度、领域、层面和技术等多个角度分析 Docker 的架构，帮助读者全面理解 Docker 技术。
定义：Docker是一个开源的应用容器引擎，使用GO语言开发，基于Linux内核的cgroup，namespace，Union FS等技术，对应用程序进行封装隔离，并且独立于宿主机与其他进程，这种运行时封装的状态称为容器。
在大规模网络爬虫系统中，合理的架构设计和高效的部署方式是确保系统稳定性和可扩展性的关键。本文将介绍如何利用云计算和Docker技术进行大规模网络爬虫系统的架构设计和部署，帮助你构建高效、可靠的爬虫系统。
在上篇文章中你已经看到了在你的devbox创建一个单点Hadoop 集群是多么简单。
由于 Hadoop 是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置 Hadoop 的情况，这对于学习者来说会制造诸多障碍，主要有两个：
伴随着Docker技术的兴起，以及容器集群管理平台Mesos、Kubernetes、Swarm、Rancher等的大行其道，仿佛PaaS平台及其相关技术一下进入了黄金时期，各种各样的技术组合，各种各样的技术验证，以及伴随着容器相关的创业公司布道，仿佛只要有了PaaS平台及其相关的技术，就能解决一切的企业IT问题。但是，企业IT，尤其是非互联网传统企业，PaaS平台的构建与业务上云是一个长期的过程，绝不是一个docker+kubernetes/Mesos/Swarm构建完以后就能完成的，IaaS年代是这样，PaaS年代也是这样。
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。
【编者按】Docker改变了应用程序开发领域的很多事情，已经成为时下最流行的开源项目之一，而且也从根本上改变了人们构建应用程序思维方式。Docker正在改变云的开发实践，允许任何人以整合别人容器的形式利用封装社区的最佳实践，这就像云组件的乐高玩具。 以下为译文： Docker就像一场森林大火，这个新的Linux容器技术以它自己的方式点燃了周围的一切，我们许多人难以跟上它蔓延的速度。Docker不仅是历史上最流行的开源项目之一，而且也从根本上改变了人们构建应用程序的思维方式。 严格来说，许多基于Docker
Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。
昨天我们谈到了资源管理中资源隔离技术LXC，linux轻量级的隔离技术。今天介绍一个基于LXC技术发展的开源应用容器引擎：Docker。 什么是Docker： Docker container和普通的虚拟机Image相比, 最大的区别是它并不包含操作系统内核.普通虚拟机将整个操作系统运行在虚拟的硬件平台上, 进而提供完整的运行环境供应用程序运行, 而Docker则直接在宿主平台上加载运行应用程序.本质上他在底层使用LXC启动一个Linux Container,通过cgroup等机制对不同的container
HDFS 集群是建立在 Hadoop 集群之上的，由于 HDFS 是 Hadoop 最主要的守护进程，所以 HDFS 集群的配置过程是 Hadoop 集群配置过程的代表。
Docker的发展势态如同森林大火，势不可挡。这项新型的Linux容器技术引燃了一路上的一切东西，面对其迅猛发展的势头，我们许多人还没有回过神来。Docker不仅是有史以来最受欢迎的开源项目之一，它还从根本上改变了人们考虑构建应用程序的方式。 基于Docker的应用程序背后的许多理念从严格意义上讲并非很新颖，但Docker给那些旧观念带来了全新视角。借助许多云开发实践，Docker促进了最佳实践，比如12-Factor应用程序。这些最佳实践当初是为了构建基于PaaS的应用程序而开发的，如今普遍适用于基于Do
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像 中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。
在Dockerfile中用到的命令有 FROM FROM指定一个基础镜像， 一般情况下一个可用的 Dockerfile一定是 FROM 为第一个指令。至于image则可以是任何合理存在的image镜像。 FROM 一定是首个非注释指令 Dockerfile. FROM 可以在一个 Dockerfile 中出现多次，以便于创建混合的images。 如果没有指定 tag ，latest 将会被指定为要使用的基础镜像版本。 MAINTAINER 这里是用于指定镜像制作者的信
早在2013年的时候，docker就已经发行，然而那会还是很少人了解docker。一直到2014年，Martin Fowler提出了微服务的概念，两个不相干的技术终于走在了一起，创造了今天的辉煌
docker是用GO语言开发的应用容器引擎，基于容器化，沙箱机制的应用部署技术。可适用于自动化测试、打包，持续集成和发布应用程序等场景。 值得注意的是，docker现已改名为moby。 docker基于容器化，沙箱机制，可使你用较少的命令和脚本快速部署应用。一次构建，多处移植使用。再配合shell等脚本语言，可实现脚本化一键部署。 另外，docker大部分的工作都是依赖命令来执行的，简单易上手。 如火如荼的docker，现已被很多大公司所采用。同时docker也成为了实现serverless(无服务器架构)服务的基础架构。包括阿里云，亚马逊在内的云计算服务商都采用了docker来打造serverless服务平台。 如此同时，基于docker的微服务架构也如火如荼地出现。 由此可见，docker容器技术的重要性非同一般。
docker最近一年可真是火，不过刚好看到下面这篇文章，觉得还是很有道理的。转载过来研读并思考一下，转载自这里。
云计算时代应需求而产生和大规模运用的Docker。 目前的技术水平已经真正的进入了云计算时代，各大基础设施纷纷上云。很多大企业将所有业务都迁移到了云上。而云的基础设施就是 Docker，准确的说是容器，而 Docker 正是当下最主流的容器技术。 Docker 是基础设施，是因为 Docker 的资源限制和隔离性是云上必不可少的特性。相比于之前每个部门的应用申请一堆物理机来部署自己的应用进程，使用云计算的方式来统一管理公司所有的应用使得资源的使用率更加的高。 那么这么多的应用部署到一起就需要解决三个主要问题：应用隔离、应用部署和资源限制。
在本文中，大数据专家将为您介绍如何使用HDFS以及如何利用HDFS创建HDFS集群节点。
单机模式：Hadoop 仅作为库存在，可以在单计算机上执行 MapReduce 任务，仅用于开发者搭建学习和试验环境。
https://blog.csdn.net/zjerryj/article/details/100063858
Docker很热，怎么形容？感觉开源除了spark技术，就是docker了，甚至把Go语言也带火了，把Go在TIOBE的排名从百名外带入主流语言的行列。 Docker快成救世主了，这么牛逼的技术，docker和hadoop碰撞出什么火花来呢，是不是得赶紧用上呢？ 就不介绍具体什么是docker了，不是一门全新的技术，是基于LXC的高级容器引擎，从linux内核发展出来的轻量隔离技术。相比单纯的隔离，核心是标准化了镜像打包，部署和发布这个过程，相当于标准化了开发过程。就运行态来说，相比VM，核心优势就是轻量，
Kubernetes已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变。
之前我们提到大数据的时候就会提到Hadoop，Hadoop是大数据的基础框架，是大数据技术的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。
文 | Jeff Meyerson Kubernetes 已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变，而其自身则会慢慢变得像 Linux Kernel 一样，成为一种系统底层的支撑，不再引人注目。 本文金句： 通过 Kubernetes，分布式系统工具将拥有网络效应。每当人们为 Kubernetes 制作出的新的工具，都会让所有其他工具更完善。因此，这进一步巩固了 Kubernetes 的标准地位。 云提供商并非可替换的商品。不同的云提
【前置条件：需准备一台Linux or Mac OS 机器, 并且安装好了Docker 应用】
名称：CentOS 官网：https://www.centos.org/ 简介：CentOS（Community Enterprise Operating System，中文意思是：社区企业操作系统）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同，在于CentOS并不包含封闭源代码软件。
普元云计算架构师宋潇男点评： Kubernetes已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变，而其自身则会慢慢变得像Linux Kernel一样，成为一种系统底层的支撑，不再引人注目。 原文的标题是The Gravity of Kuberrnetes，但是从内容上看，更像是近些年流行的“XXX is dead. Long live XXX.”的风格，所以在翻译标题的时候我们恶搞了一下。 本文金句： 通过Kubernetes，分布式系统工具将拥有
前置条件：需准备一台Linux or Mac OS 机器, 并且安装好了Docker 应用
早在2013年的时候，docker就已经发行，然而那会还是很少人了解docker。一直到2014年，Martin Fowler提出了微服务的概念，两个不相干的技术终于走在了一起，创造了今天的辉煌！ 近几年来，很多互联网关系开始跟风，构建docker+微服务的架构体系。然而，根据笔者观察发现，有些童鞋在使用过程中，只是会用，而根本不了解为什么使用docker，反正对他们来说，公司让用就用！而某些公司呢，虽然用上了docker，然而运维方式并没有发生改变，白白浪费了docker的大好性能！ 因此，才有了本文的诞生。本文不会教你怎么去用什么docker的api，毕竟官网document很全面，而是去讲解docker的优点，进而说明为什么适合微服务的架构！
由Docker引领的容器技术最近一年在生产环境叫嚣的比较厉害，由于Docker本身拥有的一些特性，使得越来越多的人愿意并且想尝试在生产环境构建Docker,有关docker相关的介绍可以看我去年发布的文章(http://my.oschina.net/xxbAndy/blog/493184 )。然而随着业务的规模不断扩大，对docker的管理和维护也对运维人员有一些挑战，使用一些开源的框架和服务满足互联网公司的基本需求是一种常见而高效的方式，本篇文章就简单介绍一下使用Mesos+Marathon来对docke
Hadoop是时下最流行的企业级开源大数据平台技术，你可以将它部署在本地，也可以部署在云端。而深度学习，对于企业用户来说举几个简单的例子，常见的场景包括语音识别，图像分类，AI聊天机器人或者机器翻译。为了训练深度学习/机器学习模型，我们可以利用TensorFlow/MXNet/Pytorch/Caffe/XGBoost等框架。有时这些框架也会被一起使用用于解决不同的问题。
Hadoop的master和slave分别运行在不同的Docker容器中，其中hadoop-master容器中运行NameNode和ResourceManager，hadoop-slave容器中运行DataNode和NodeManager。NameNode和DataNode是Hadoop分布式文件系统HDFS的组件，负责储存输入以及输出数据，而ResourceManager和NodeManager是Hadoop集群资源管理系统YARN的组件，负责CPU和内存资源的调度。
原因：2016年11月29日 星期二 架设DCOS（Data Center Operation Systeam）。 说明：本文主要记录DCOS架设过程中的问题与解决办法。
原文标题：The Gravity of Kubernetes 原文作者：Jeff Meyerson 普元云计算架构师宋潇男点评： Kubernetes已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变，而其自身则会慢慢变得像Linux Kernel一样，成为一种系统底层的支撑，不再引人注目。 原文的标题是The Gravity of Kuberrnetes，但是从内容上看，更像是近些年流行的“XXX is dead. Long live XXX.”
作者：Wangda Tan、Sunil Govindan、Zhankun Tang
转载声明：本文转载自「EAWorld」，搜索「eaworld」即可关注。 原文标题：The Gravity of Kubernetes 原文作者：Jeff Meyerson 普元云计算架构师宋潇男点评： Kubernetes已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变，而其自身则会慢慢变得像Linux Kernel一样，成为一种系统底层的支撑，不再引人注目。 原文的标题是The Gravity of Kuberrnetes，但是从内容上看，更
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
