Hadoop集群其中一个优点就是可伸缩性（横向扩展），通过增加计算节点使服务容量产生线性增长的能力。可伸缩的应用程序的主要特点是：只需要增加资源，而不需要对应用程序本身进行大量修改。在集群资源紧张的情况下可通过动态的扩容节点来增加集群的计算能力。本篇文章主要介绍如何使用Cloudera Manager在线扩容DataNode节点。
凡事都要讲究个为什么。在搭建集群之前，我们首先先问一句，为什么我们需要搭建集群？它有什么优势呢？
本章的结构安排是以介绍Sun Cluster中重要的概念为主线。相关的工作原理分布在各个概念的介绍之中。 quorum的概念在分布式系统中经常被用到。原本的概念上，quorum是在具有竞争关系的关键时刻时一个多数成员达成的一致意见，从而得出最好的解决方案。这里可以理解为多数人达成一致的意见的一种机制，或者达成一致意见的这些多数成员。组成可被接收的quorum的实际数量在不同的情况下也不同。或许要求2/3，或许只要超过50％即可。 在分布式计算机系统中，一组有通讯关系的进程由quorum的潜在成员组成。为保证系统有效运行以及对系统行为作出关键决策，该组进程通过交互信息以在一些关键问题上达成一致，直到quorum的最终形成。 在Sun Cluster中，有两种类型的quorum被使用： 群集成员关系监视器CMM（Cluster Membership Monitor）需要获取关于一组群集节点列表的quorum，这些节点具有成为Cluster成员的能力。编者注：这个意思就是CMM需要在具有Cluster节点关系的一组节点中得到一个多数人的同意。所以quorum：“多数人的同意”中的这个“人”的主体并不具体代表是什么东西，仅仅是表明这些东西形成多数同意的关系，那这里肯定是指节点了。这种类型的quorum被称为CMM quorum，或Cluster quorum。 Cluster配置数据库CCD（Cluster Configuration Database）需要获得quorum，以挑选出一个有效一致的CCD拷贝。这里的主体就是CCD了。
上期我们聊到，在X轴上扩展机器其核心是原机器和新增的机器要保持数据一致，那这里就涉及到数据同步，存在着主从或者主备的情况，定是需要区分主备，主节点向从节点同步数据，那么要保证所有机器，这些机器的组合我们叫做集群，集群这里不展开叙述，集群数据同步需要考虑的问题：
DNS领域的多点部署大多采用IP Anycast＋BGP方式，采用这种方式不需要额外采购设备，部署灵活多样。但像其他所有技术一样，IP Anycast＋BGP技术只有在适当的领域和范围内才能发挥它的最大优势。
Ansible是一个部署一群远程主机的工具。这里“远程主机”是指任何可以通过SSH登录的主机，所以它既可以是远程虚拟机或物理机，也可以是本地主机。Ansible通过SSH协议实现管理节点与远程节点之间的通信。理论上来说，只要能通过SSH登录到远程主机来完成的操作，都可以通过Ansible实现批量自动化操作。
在上文中我们了解到， canal 可以通过订阅 binlog 日志来提供增量数据订阅和消费，通过这种方式可以实现数据库的实时备份，实时索引构建等
Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步我们需要保证的就是 Elasticsearch 的高可用性，什么是高可用性呢？它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是 100%。如果系统在某个时刻宕掉了，比如某个网站在某个时间挂掉了，那么就可以它临时是不可用的。所以，为了保证 Elasticsearch 的高可用性，我们就应该尽量减少 Elasticsearch 的不可用时间。
Greenplum（以下简称GPDB）是一款开源数据仓库。基于开源的PostgreSQL改造，主要用来处理大规模数据分析任务，相比Hadoop，Greenplum更适合做大数据的存储、计算和分析引擎。
Gateway节点又称为客户端节点，通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置，脚本命令，比如HDFS的core-site.xml，hdfs-site.xml以及hadoop的操作命令。
基于诱捕节点，蜜罐可以实现攻击欺骗转移和资产隔离防护。但是现有诱捕节点的实现技术存在IP地址资源的分配和冲突的风险，日常维护要求高，需要配备专业的网管人员，增加人力成本。
解决方案： (1)从namenode主机ping其它slaves节点的主机名（注意是slaves节点的主机名），如果ping不通,原因可能是namenode节点的/etc/hosts 未配置主机名与IP地址的映射关系，补全主机名与IP地址的映射关系。 (2)从datanode主机ping master节点的主机名（注意也是节点的主机名），如果ping不通,原因可能是datenode节点的/etc/hosts 未配置主机名与IP地址的映射关系，补全主机名与IP地址的映射关系。 (3)查看各机器节点的防火墙是否关闭（或者设置防火墙开启，但对我们的指定端口开放，最好是关闭防火墙）
里面介绍了个心跳服务的宕机判断算法，当时只是理论分析了下使用 LRU 算法来实现，没有手撕代码。
网站建设好之后选择空间是云虚拟主机好?还是虚拟主机比较划算?这是很多首次使用服务器的企业遇到的一个问题，因为不太了解这些产品，所以在选择的时候难免会有所顾虑，下面我们就来看看云虚拟主机和虚拟主机都
另外，主从模式，薪火相传模式，主机宕机，导致ip地址发生变化，应用程序中配置需要修改对应的主机地址、端口等信息。
But但是我的电脑是双4G的一定会很卡的。忍了，只要大家能从中学到东西。这样就是值得的。
现象：非正常删除windows2012 R2故障转移集群后，重新安装系统后，发现磁盘变成RAW并且联机后格式化无法顺利完成。
适用主机：controller控制节点 运行命令：iaas-install-mysql.sh
主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点（master/leader），后者称为从节点（slave/follower）；数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主
这些解决后，就该考虑如何在集群中创建容器，即容器调度。 容器创建后如何运作才能对外提供服务，即容器调度。
Ansible 上手指南 前言 最近在重构一款命令行工具，使用 golang 重新开发，但需要继续维持原有的命令，同时增加新命令。 在重构的过程中，需要对现命令行工具和原命令行工具的命令输出结果进行比对，确保完全一致（项目要求），命令行工具需要在部署完成系统之后进行使用，每个系统完成时的部署组件又稍微有点差异。所以其实需要在多套服务主机上进行测试。 需要做这些动作： 拷贝一些配置文件到主机上：用户配置、IP和端口文件 安装命令行工具，确保使其在服务主机上可以使用 执行一堆测试命令 按理说，我不断把需要的配置
Docker Swarm为Docker提供本地集群。 使用Docker Swarm 0.2.0的集群一文提供了对Docker Swarm的基本介绍，以及如何创建一个简单的三节点集群。作为一个回顾，Docker Swarm的关键组件如下所示：
注意一点： openstack的虚拟机在线调整大小的原理： 其实就相当于做了一个云主机在不同宿主机(计算节点)之间的迁移，所以前提是至少需要有两个计算节点。 如果是单机部署的openstack（即控制节点和计算节点都在一台机器上），有且只有一个计算节点，那么是无法完成在线调整虚拟机大小的。
虚拟机静态迁移： 静态迁移也叫做常规迁移、离线迁移（Offline Migration）。是在虚拟机关机或暂停的情况下，拷贝虚拟机磁盘文件与配置文件到目标虚拟主机中，实现的从一台物理机到另一台物理机的迁移。因为虚拟机的文件系统建立在虚拟机镜像文件上面，所以在虚拟机关机的情况下，只需要简单的迁移虚拟机镜像和相应的配置文件到另外一台物理主机上即可。如果需要保存虚拟机迁移之前的状态，那么应该在迁移之前将虚拟机暂停，然后拷贝状态至目的主机，最后在目的主机重建虚拟机状态，恢复执行。这种方式的迁移过程需要显式的停止虚拟机的运行。从用户角度看，有明确的一段停机时间，虚拟机上的服务不可用。这种迁移方式简单易行，适用于对服务可用性要求不严格的场合。
当单台 MYSQL 服务器无法满足当前网站流量时的优化方案。需要搭建 mysql 集群技术。
传统的C/S结构是每个客户端均知道中心化的SERVER，由客户端主动与SERVER进行通信。
前面提到过openstack环境部署及创建虚拟机的完整过程，然后有时候会发现创建的虚拟机规格太小，满足不了业务需求；亦或是虚拟机规格太大，容易造成资源浪费。 于是就有了在线拉伸虚拟机规格的需求。所以，今天这里介绍下在openstack里创建vm后，怎么在线调整虚拟机(云主机)的大小？ 注意一点： openstack的虚拟机在线调整大小的原理： 其实就相当于做了一个云主机在不同宿主机(计算节点)之间的迁移，所以前提是至少需要有两个计算节点。 如果是单机部署的openstack（即控制节点和计算节点都在一台机器
主机名是安装节点所在物理机器的网络名。 主机名必须解析为服务器上的物理网络节点。 当服务器中存在多块网卡时，主机名或 IP 地址必须解析为其中一块网卡。 远程节点使用主机名来连接到该节点，以及与其进行通信。 下列准则有助于确定适合机器的主机名：
K8SEASY 是一个一键安装K8S高可用集群的软件。它可以帮助企业一键搭建完私有云系统，帮助用户在多家云服务商里灵活切换，不再被任何服务商绑架！对! 所有的操作只需要一键！
在永洪数据集市分为本地集市（单机版数据集市）和MPP集市（多机版数据集市）。如果用户数据量在GB级别，并且单机服务器配置还可以，采用本地集市可以达到数据加速的功能。如果用户数据在TB级别，就可以采用MPP云结构来支撑秒级的数据分析响应速度。
最近看到有些研发写代码jdbc的配置文件是MGR多个地址。出于好奇它是如何选择连接的，在节点故障的时候，又是如何failover的。于是有了下文的探索与发现。
准备两台Windows NT 主机，分别安装好iKEY Server windows 版本，确定版本无误，确保mysql服务正常启动，确保两台主机处于同一个局域网中，确定好哪台做为主、备机器，假设A为主机，B为备机，假设A主机IP地址为：192.168.1.101，B主机IP地址为192.168.1.102
实践中会发现，生产环境中使用单个 Docker 节点是远远不够的，搭建 Docker 集群势在必行。然而，面对 Kubernetes, Mesos 以及 Swarm 等众多容器集群系统，我们该如何选择呢？它们之中，Swarm 是 Docker 原生的，同时也是最简单，最易学，最节省资源的，比较适合中小型公司使用。 Docker Swarm 介绍 Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker
上一篇介绍了安装CNA主机的详细过程。已经安装部署好两台CNA虚拟主机。链接如下： 【FusionCompute】使用VMware Workstaion安装部署CNA(二)_xyb的博客-CSDN博客
如果原来没有序号节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推。
calico提供的网络解决方案，基本和flannel的host-gw模式相同，不同的地方在flannel通过etcd和宿主机上的flanneld维护路由信息，而calico是使用bgp（border gateway protocol 边界网关协议）自动的在集群中维护路由信息。如：
Icinga是一个开源监控系统，用于监控网络主机和服务的运行状况。在本教程中，我们将使用Icinga设置两种不同类型的监视配置。第一种是基于对主机外部服务的简单网络检查，例如向您的网站发出定期HTTP请求。另一种配置使用在主机上运行的软件代理来收集更详细的系统信息，例如负载和正在运行的进程数。
可以实现不同节点之间传递文件，比如A节点将代码编译打包好，然后通过ssh发送到目标节点上，配置相应的命令完成项目的部署，目标节点无需是是一个slave，只要A节点能够通过ssh连接到B节点即可。
之前老哥讲了Redis常用命令大全、Redis持久化备份及容灾恢复的处理。今天我们来讲讲Redis的主从复制如何实现。
调度器是编排工具的核心，调度策略和算法是编排工具的灵魂。Kubernetes之所以能够大行其道，正是因为其优良的调度算法，本文就来分析下kubernets中scheduler组件的调度原理。
本文作者 / 鹏飞师兄 专注于OpenStack计算、Python； 热爱大海、雪山。 Cell V2详解 Cell V2 第一次出现是在 Ocata 版本，但当时仅仅只支持单个 Cell，对多个 Cell 的支持是在 Pike 版本中实现的。它的出现是为了解决单个 OpenStack 集群下计算节点过多，而导致数据库和消息队列压力过大，无法支持大规模部署的问题。 在 Pike 版本以前，一个 OpenStack 集群下，只有一个消息队列和一个数据库。由于计算节点需要定时进行资源上报，电源状态同步
Swarm是Docker公司推出的用来管理docker集群的平台，几乎全部用GO语言来完成的开发的，代码开源在https://github.com/docker/swarm， 它是将一群Docker宿主机变成一个单一的虚拟主机，Swarm使用标准的Docker API接口作为其前端的访问入口，换言之，各种形式的Docker
在Kubernetes中，集群网段（Cluster CIDR）、Pod 网段（Pod CIDR）和宿主机网段（Host Network）通常需要配置为不同的子网，这是因为它们各自具有不同的功能和要求，有以下原因：
主机之间通信，网络层IP数据报的首部中，有个TTL字段(Time To Live)。TTL的作用是，设置IP数据报被丢弃前，最多能够经过的节点数。 此外，每经过一个中间节点，再向下一个节点转发数据前，都会将TTL减1。如果TTL不为0，则将数据报转发到下一个节点；否则，丢弃数据报，并返回错误（ICMP time exceeded） 。
① “移动 IP 技术” 概念 : 移动节点 以 固定的网络 IP 地址 , 实现 跨越 不同网段 的 漫游 功能 , 并能保证 基于 网络 IP 的 网络权限 在 漫游过程中 不发生 任何改变 ;
I2C 主设备始终控制着时钟线 SCL，不论是往设备写还是从设备读。一般情况下，如果操作对象是 EEPROM 或者其他简单设备而言，无所谓，但是，如果从设备是处理器，在接到主机命令后要去处理一些运算然后得出结果返回给主机。这个时候可能造成来不及处理。怎么办？这时，从设备会主动控制时钟线把它拉低！直到数据准备好之后再释放时钟线，把控制权交还给 MASTER。这也是 I2C 通信系统中，从机唯一能控制总线的时候！
分布式块设备复制（Distributed Replicated Block Device，DRBD），是一种基于软件、网络的块复制存储解决方案，主要用于对服务器之间的磁盘、分区、逻辑卷等进行数据镜像 当用户将数据写入本地磁盘时，还会将数据发送到网络中另一台主机的磁盘上，这样本地主机与远程主机的数据就可以保证实时同步，当本地主机出现问题，远程主机上还保留着一份相同的数据，可以继续使用，保证了数据的安全 DRBD的核心功能就是数据的镜像，其实现方式是通过网络来镜像整个磁盘设备或磁盘分区，这有点类似于一个网络RA
要是单讲解虚拟 IP,理解起来很困难,所以干脆把 动态 IP 、固定 IP 、实体 IP 与虚拟 IP都讲解一下,加深理解和知识扩展
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
