MongoDB是一个基于分布式文件存储的数据库，其目的在于为WEB应用提供可扩展的高性能数据存储解决方案。下面将以3台机器介绍最常见的集群方案。具体介绍，可以查看官网 https://docs.mongodb.com/v3.4/introduction/。
副本（Replica）是分布式系统最常见的概念之一，指分布式系统对数据和服务提供的一种冗余方式。在常见的分布式系统中，为了对外提供高可用的服务，我们往往会对数据和服务进行副本处理。有副本的概念，就会关联到副本数据一致性问题。
Redis作为承担缓存作用的数据库，一般会应用在高并发的场景里，而在这些高并发应用场景的数据库层面还会用到其他数据库的组件或集群以提升性能，比如用MySQL主从集群实现读写分离效果、用MyCAT组件实现分库分表的功能。另外，Redis本身会以集群的形式对外提供缓存服务。
在某些情况下，将读请求发送给副本集的备份节点是合理的，例如，单个服务器无法处理应用的读压力，就可以把查询请求路由到可复制集中的多台服务器上。现在绝大部分MongoDB驱动支持读偏好设置（read preference；或翻译为读取首选项），用来告诉驱动从特定的节点读取数据。
前面的文章介绍了MongoDB副本集和分片集群的做法，下面对MongoDB集群的日常维护操作进行小总结： MongDB副本集故障转移功能得益于它的选举机制。选举机制采用了Bully算法，可以很方便从分布式节点中选出主节点。Bully算法是一种协调者(主节点)竞选算法，主要思想是集群的每个成员都可以声明它是主节点并通知其他节点。别的节点可以选择接受这个声称或是拒绝并进入主节点竞争。被其他所有节点接受的节点才能成为主节点。节点按照一些属性来判断谁应该胜出。这个属性可以是一个静态ID，也可以是更新
上一章节中，我们详细介绍了在典型的三节点复制集环境中搭建MongoDB的步骤和注意事项。从准备配置文件到启动MongoDB进程，我们一步步指导读者完成了环境的设置。在本章节中，我们将进一步深入，重点讲解如何进行复制集的配置和安全验证，以及连接方式的选择。通过学习这些内容，读者将能够更好地理解和应用MongoDB的复制集功能，确保数据的可靠性和安全性。
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。Mongodb的集群模式包括三种： 1 Replica set （主备节点的数据均一致） 2 Sharding （分片） 3 Master-Slaver （目前已很少使用） 本篇文章介绍Replica set集群搭建 Replica set通常成为复本集模式，复制集模式的好处是，一切自动化。首先，复制集模式本身做了大量的管理工作，自动管理从节点，确保数据不会不一致。其次，主节
当Primary节点完成数据操作后，Secondary会做出一系列的动作保证数据的同步：
单机版的MongoDB无法保证系统的可靠性。一旦进程发生故障或是服务器宕机，业务将直接不可用。此外，一旦服务器上的磁盘损坏，数据会直接丢失，而此时并没有任何副本可用。
安装后会创建两个默认的文件夹 /var/lib/mongo(数据目录) /var/log/mongodb (日志目录)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
---- 在了解分片集群之前，务必要先了解复制集技术！ ---- 1.1 MongoDB复制集简介 一组Mongodb复制集，就是一组mongod进程，这些进程维护同一个数据集合。复制集提供了数据冗余和高等级的可靠性，这是生产部署的基础。 1.1.1 复制集的目的 保证数据在生产部署时的冗余和可靠性，通过在不同的机器上保存副本来保证数据的不会因为单点损坏而丢失。能够随时应对数据丢失、机器损坏带来的风险。 换一句话来说，还能提高读取能力，用户的读取服务器和写入服务器在不同的地方，而且，由不同的
8.2 架构 在数据承载节点中，一个且只有一个成员被视为主节点，而其他节点则被视为辅助节点。节点接收所有 写入操作，一个副本集只能有一个主实例能够写入，主节点记录所有变更到它的记录 辅助节点复制主节点的 oplog 并将操作应用于数据集。 仲裁员不维护数据集，仲裁器的目的是通过响应其 他副本集成员的心跳和选择请求来维护副本集中的仲裁。 因为它们不存储数据集，所以仲裁器是提供副本集仲裁功能的一种好方法。 与具有数据集的完全功能副本集成员相比，仲裁器的资源成本更低，如果副本集的成员数为偶数，则添 加一个仲裁器以在初选中获得多数票。 当一个主服务器在超过配置的周期（默认为 10 秒）内未与该组的其他成员通信时，符合条件的辅助服 务器将要求选择将其自身指定为新的主服务器。集群试图完成新的初选并恢复正常操作。 8.3 搭建步骤 (1) 准备三台虚拟机服务器，并各自安装好 mongoDB 注：为了保证复制集中三个服务器之间正常连接，请保证三个服务器的防火墙都已关闭！ 192.168.132:27017 192.168.133:27017 192.168.134:27017 (2) 修改 mongodb.conf 文件，添加 replSet 配置 ( 三台都需要修改成同一个名称 ) ，然后启动服务器 replSet=rep1 (3) 初始化复制集 登录任意一台执行初始化操作 说明 : _id 指复制集名称， members 指复制集服务器列表，数组中的 _id 是服务器唯一的 id,host 服务器主 机 ip # 复制集名称 rs.initiate({_id:'rep1',members:[{_id:1,host:'192.168.197.132:27017'}, {_id:2,host:'192.168.197.133:27017'},{_id:3,host:'192.168.197.134:27017'}]}) (4) 查看集群状态 (5) 测试 # 添加数据 db.users.insert({"name":"lisi","age":11}) # 查询数据 db.users.find() # 切换到从数据库查询数据 如果不允许查询，是因为默认情况下从数据库是不允许读写操作的，需要设置。 >rs.slaveOK() 执行该命令后可以查询数据 (6) 测试复制集主从节点故障转移功能 # 关闭主数据库 , 注意从数据库的变 >db.shutdownServer() (7) 主复制集添加仲裁者 (arbiter) 现在我们的环境是一主两从，仲裁者对偶数集群有效。需要停止一个从机，在主服务器中运行下面命令 在一主一从关系中，任意节点宕机都无法选举出主节点，无法提供写操作，此时需要加入仲裁者节点即 可。 rs.remove("ip: 端口号 ") // 删除从节点 在一主一从关系中，任意节点宕机都无法选举出主节点，无法提供写操作，此时需要加入仲裁者节点即 可。 rs.addArb("ip: 端口号 ")
------------------------------------------分割线------------------------------------------
作者：hazenweng，腾讯 QQ 音乐后台开发工程师 MongoDB 作为一款优秀的基于分布式文件存储的 NoSQL 数据库，在业界有着广泛的应用。下文对 MongoDB 的一些基础概念进行简单介绍。 1 MongoDB 特点 面向集合存储：MongoDB 是面向集合的，数据以 collection 分组存储。每个 collection 在数据库中都有唯一的名称。 模式自由：集合的概念类似 MySQL 里的表，但它不需要定义任何模式。 结构松散：对于存储在数据库中的文档，不需要设置相同的字段，并且
AdminAPI包含对InnoDB ReplicaSet的支持，使您能够以类似于管理InnoDB cluster的方式构建与管理基于异步GTID的复制的一组MySQL实例。InnoDB ReplicaSet由一个主节点和多个从节点构成。您可以使用ReplicaSet对象和AdminAPI操作管理复制集，例如检查InnoDB复制集的状态，并在发生故障时手动故障转移到新的主服务器。与InnoDB cluster类似，MySQL Router支持针对InnoDB replicset的引导，这意味着您可以自动配置MySQL Router以使用InnoDB replicset，而无需手动配置文件。这使得InnoDB ReplicaSet成为一种快速简便的方法，可以启动和运行MySQL复制和MySQL Router，非常适合扩展读取，并在不需要InnoDB集群提供高可用性的用例中提供手动故障转移功能。
如果主分片和副本分片都集中在一个节点上，那是没办法做到高可用的。ES的集群监控状态会返回yellow。因此，我们需要启动更多的节点来承载副本分片。
2018年11月14日 11:05:50 Full Stack Developer 阅读数 331
复制集(replica Set)或者副本集是MongoDB的核心高可用特性之一，它基于主节点的oplog日志持续传送到辅助节点，并重放得以实现主从节点一致。再结合心跳机制，当感知到主节点不可访问或宕机的情形下，辅助节点通过选举机制来从剩余的辅助节点中推选一个新的主节点从而实现自动切换。这个特性与MySQL MHA实现原理一样。本文主要描述MongoDB复制集并给出创建复制集示例以及完成自动切换。 一、复制集相关概念 复制集 复制是在多台服务器之间同步数据的过程，由一组Mongod实例（进程）组
MongoDB复制集是一个带有故障转移的主从集群。是从现有的主从模式演变而来，增加了自动故障转移和节点成员自动恢复。 MongoDB复制集模式中没有固定的主结点，在启动后，多个服务节点间将自动选举产生一个主结点。该主结点被称为primary，一个或多个从结点被称为secondaries。 primary结点基本上就是master结点，不同之处在于primary结点在不同时间可能是不同的服务器。如果当前的主结点失效了，复制集中的其余结点将会试图选出一个 新的主结点。 MongoDB复制集模式的好处： 一切自动
在mysql5.4.1之前只存在这种复制模式，在mysql5.7前默认使用这种格式。
假若我说有三个节点（计算机）要维护同一分数据，如果你对分布式系统并不了解，那么你可能会有什么问题呢，我想可能有两个最基本的问题： 为什么同一份数据要保存多分？ 这些节点数据要一致吧，否则同时从多个节点读的时候数据不一样？ 第一个问题，为什么要同一分数据要保存多分，是因为分布式系统中的节点都有一定的概率发生故障，虽然单个节点的故障概率比较小，但当系统规模不断上升，故障的概率就变大了许多。节点的故障会对系统的可用性、可靠性产生影响。当数据在系统中只有一份存储时，如果发生断电、主机crash、网络故
答案：MongoDB是一个基于文档的NoSQL数据库，它使用BSON（一种类似JSON的二进制格式）来存储数据。与关系型数据库相比，MongoDB没有固定的数据模式，支持非结构化数据的存储，且水平扩展性强。MongoDB更适合于需要快速迭代开发、数据模型经常变动的应用场景。
上篇文章我们大致介绍了什么是MySQL主从复制，主从复制的几种集群架构图大概都有哪几种，今天我们就来讲讲如何实现MySQL集群的搭建。主从复制有两种方式可以实现，binlog和GTID，这期我们先通过binlog方式来实现，下篇我们来讲binlog的原理，和注意事项。
传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：
MongoDB 是一款 NoSQL 数据，通常用来存储非结构化数据，我们的产品中也有用到，例如：一些文件存储在 MongoDB 的 GridFS 中。
随着内部产品业务的搭建，单机的mongo已经无法满足生产需求，对于单机迁移、损坏等问题，简单的单机数据备份已经无法满足，因为采用了集群方式来满足容灾以及数据快速恢复等功能，下面我就来讲讲如何搭建集群来避免这些问题。
mongodb是最常用的nosql数据库，以下记录如何搭建高可用mongodb集群（分片+副本）
MongoDB 将数据存储在灵活的json文档中，这意味着可以直接得到从文档到文档的数据、结构等。
查询选择器(默认前缀为db.test.) 语句 说明 备注 find() 查询全部数据 默认每200ms将数据flush到硬盘 find({id:1}) 精确查询 find({id:{$lt:5}) id小于5的全部数据 同样的还有$lte(小于等于)、$lt（小于）、$gt（大于）、$gte（大于等于） find({id:[1,2]}) 某个范围内 $nin(不在某个范围内，低效，会使索引失效)、$ne（不等于，低效，会使索引失效） find({$or:[{id:1},{id:2}]} 等同sql or
Redis 主从复制是 Redis 数据备份和高可用性的重要机制之一。主从复制允许你有一个或多个从服务器复制主服务器的数据。这样，你可以在多个服务器上读取相同的数据，提高读取性能，同时也可以防止数据丢失。
MongoDB复制集RS(ReplicationSet): 基本构成是1主2从的结构，自带互相监控投票机制(Raft(MongoDB)Paxos(mysql MGR 用的是变种))
本次由Mysql同步到Mongod集群中，Mysql为1主2从MHA实现的高可用架构，Mongodb是由3个复制集组成的分片集群（测试环境mongos只有一个，安全起见应该启两个做高可用。config复制集一个）
主要介绍：复制功能介绍、mysql二进制日志、mysql复制拓扑、高可用框架、单点故障、读写分离和负载均衡介绍等 mysql复制功能介绍 mysql复制功能提供分担读负载 复制解决的问题 实现在不同服务器上的数据分布 利用二进制日志增量进行 不需要太多的带宽 但是使用基于行的复制在进行大批量的更改时会对带宽带来一定得压力，特别是跨IDC环境下进行复制 实现在不同服务器上的数据分布 实现数据读取的负载均衡 需要其他组件配合完成 利用DNS轮询的方式把程序的读连接到不同的备份数据库， 使用LVS，haproxy
pglogical 是 PostgreSQL 的拓展模块, 为 PostgreSQL 数据库提供了逻辑流复制发布和订阅的功能。 pglogical 重用了 BDR 项目中的一部分相关技术。pglogical 是一个完全作为PostgreSQL 扩展实现的逻辑复制系统。完全集成，它不需要触发器或外部程序。这种物理复制的替代方法是使用发布/订阅模型复制数据以进行选择性复制的一种高效方法。支持 PG10、9.6、9.5、9.4 ，提供比 Slony、Bucardo 或 Londiste 更快的复制速度，以及跨版本升级。 我们使用的下列术语来描述节点和数据流之间的关系，重用了一些早期的 Slony 技术中的术语:
在计算机网络中，数据是暴露的，因为数据包传输是无法隐藏的，所以让我们来使用 whois、dig、nmcli 和 nmap 这四个工具来嗅探网络吧。
这里翻译一篇关于 mongodb 数据一致性的白皮书，这是一份有10页的文档。基于数据一致性的部分内容，在其他的传统数据库，缓存数据库都不存在，也是一个让传统DBA 想不明白的部分，所以进行翻译。
计划分几篇文章把近一个月技术上的一些实践记录一下，这第一篇记录一下mongodb的高可用集群部署。
原文链接：http://blog.51cto.com/dreamlinux/1945705
主要介绍：复制功能介绍，mysql二进制日志，mysql复制拓扑，高可用框架，单点故障，读写分离和负载均衡
说明：之前看到有人问了下Caddy怎么申请Let’s Encrypt泛域名SSL证书，就翻了下官方文档了解下，发现比用Nginx申请的过程简单很多，这里就发下方法。如果有人需要Nginx申请的方法，可以看下博主很久前发过的Nginx申请教程→传送门。
如果你已经完成了自己新的MongoDB应用程序的开发，并且现在正准备将它部署进产品中，那么你和你的运营团队需要讨论一些关键的问题： 最佳部署实践是什么？ 为了确保应用程序满足它所必须的服务层次我们需要监控哪些关键指标？ 如何能够确定添加分片的时机？ 有哪些工具可以对数据库进行备份和恢复？ 怎样才能安全地访问所有新的实时大数据？ 本文介绍了硬件选择、扩展、HA和监控。在查看详细信息之前，首先让我们处理一个最常见的问题： 部署MongoDB和部署RDBMS有什么不同？ 你会发现MongoDB作为一个文档
群组复制（MySQL Group Replication）是 InnoDB Cluster 的一部分。
线上某MongoDB集群存储影响公司收入流水的核心数据，本文分享该集群为何多个索引串行后台会引起集群抖动，并且部分节点出现了连接数耗光等问题。同时通过本案例，给出时延敏感业务该最优方式添加索引，做到对业务最小化影响或者无影响。
杨亚洲，前滴滴出行专家工程师，现任OPPO文档数据库mongodb负责人，负责数万亿级数据量文档数据库mongodb内核研发、性能优化及运维工作，一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研发。
基于主从复制模式的集群在发生故障时可能会出现数据丢失等情况，因为当主服务器发生故障后，需要手动进行数据恢复动作，并要重新设置主从关系，比较麻烦。 可以在主从复制的基础上引入“哨兵(sentinel)”机制，一方面用哨兵远程监控主从服务器是否可用，另一方面当主服务器发生故障时通过哨兵机制可以实现“故障自动恢复”效果。 一般来说，哨兵机制会和主从复制模式整合使用，在基于哨兵的模式里会在一台或多台服务器上引入哨兵进程，这些节点也叫哨兵节点。 哨兵节点一般不存储数据，它的作用是监控主从模式里的主服务器节点。当哨兵节点监控的主服务器发生故障时，哨兵节点会主导“故障自动恢复”流程，具体来讲就是会在该主服务器下属的从服务器里选出一个新的主服务器，并完成响应的数据和配置更改等动作。 也就是说，如果采用这种模式，可以让故障自动修复，从而提升系统的可用性。在项目里，一般会配置多个主从模式集群，所以会引入多个哨兵节点。基于哨兵模式的集群效果如下图所示。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
