专栏首页JAVA同学会MongoDB之分片集群(Sharding)
原创

MongoDB之分片集群(Sharding)

一、基本概念

分片(sharding)是一个通过多台机器分配数据的方法。MongoDB使用分片支持大数据集和高吞吐量的操作。大数据集和高吞吐量的数据库系统挑战着单一服务的性能。例如:高查询率将耗尽CPU的性能。大于系统RAM的工作集将给磁盘的IO很大的压力。

应对系统的增长有两个方法:垂直扩展和水平扩展。

垂直扩展的方法是提升单一服务的性能,例如:使用一个更强的CPU,或更多的内存,或提升大量的存储空间。可用技术的局限性将限制单一服务的工作负载。另外基于云的提供者也有硬件配置的上限。所以,垂直扩展是有上限的。

水平扩展的方法是将系统的数据集分配到多个服务上,添加额外的服务可以提升系统的能力。一个单独机器的性能和速度可以不是很高,每台机器处理整个工作负载的一个子集,潜在地相比一个单一的高速度、高性能的服务,提供了更好的性能。扩展部署的能力仅仅需要添加额外的需要的服务,这比添加高档的硬件要便宜不少。

1.1分片集群

MongoDB 的分片集群由下面的几个组件组成:

  • 分片(shard):每个分片包含了分片数据的一个子集,每个分片可以作为一个副本集部署。
  • mongos:mongos扮演者查询路由的角色,提供着客户端应用和分片集群的接口。
  • config servers:配置服务存储着集群的元数据和配置设置,MongoDB3.4以后,配置服务必须部署成副本集。

下图描述了分片集群中,各个组件的交互

image1

mongodb在collection级别对数据进行分片,分配collection数据到集群中的每一个分片。

1.2分片主键(shard keys)

为了在集合中分配文档,MongoDB使用分片主键分割集合。分片主键由不重复的字段或者字段集合组成。

对一个集合分片时,你要选择分片主键,分片主键在分片以后不能修改。一个分片集合只有一个分片主键。

为了对非空的集合进行分片,集合必须有一个以分片主键开头的索引。对于空集合,如果集合对于分片主键没有一个合适的索引,MongoDB将创建索引。

分片主键的选择将影响分片集群的性能、效果和扩展能力。一个最佳的硬件和基础设施的集群的瓶颈取决于分片主键的选择。分片主键的选择将影响你的集群使用的分片策略。

1.3区块(chunks)

MongoDB分割分片数据到区块,每一个区块包含基于分片主键的左闭右开的区间范围。在分片集群中,MongoDB通过分片迁移区块,使用分片集群权衡器。权衡器视图完成一个公平的区块平衡,通过集群中所有的分片。

1.4分片的优点

MongoDB通过集群中的分片分配读和写的工作负载,允许每个分片处理集群中的一部分操作,读和写的工作负载可以通过添加分片进行横向扩展。包含分片主键或者组合主键前缀的查询,mongos可以定位这个查询到特定的分片或者分片子集上。这种定位操作比广播到所有分片要高效的多。

集群中的分片存储整个数据中的一部分,随着数据的增长,增加额外的分片可以增加集群的存储能力。

即使集群中的一个或多个分片不可用,集群也可以继续执行一部分读写操作。在宕机期间,不可用的分片上的数据是不能够处理的,可用分片上的读写操作是可以被成功处理的。在生产环境,每一个分片将被部署成副本集,提供可增长的冗余和高可用。

1.5 分片之前的考虑

分片集群的基础需求和复杂性需要小心的计划、执行和维护。谨慎地考虑分片主键是确保集群性能和效率所必须的。在分片之后,你不能改变分片的主键,也不能使集合不分片。如果查询不包含分片主键或者组合主键的前缀,mongos将执行广播操作,查询所有分片,这些查询将执行很长时间。

1.6分片和不分片集合

一个数据库可以有分片集合和不分片集合的混合,分片集合通过集群中的分片进行分割和分配,不分片集合将存储在基础分片中。每个数据库都有一个自己的基础分片。

image2

1.7 连接分片集群

你必须连接mongos路由和集合中的集合进行交互。这包含分片和不分片的集合。客户端绝不可能连接一个单独的分片进行操作。你可以像连接mongod一样连接mongos,他们是一样的。

image3

1.8分片策略

MongoDB支持两种分片策略进行数据分片。

Hash分片

Hash分片是计算一个分片主键的hash值,每一个区块将分配一个范围的hash值。

image4

当分片主键中的一个范围被“关闭”,他们的hash值不可能在相同的区块中。基于hash值分布的数据促使了更多的数据分布,特别是分片主键单调变化的数据集。

Hash分布意味着基于分片主键的范围查询很少可能命中一个单一的分片,导致了更多的广播操作。

范围分片

范围分片是基于分片主键的值切分数据,每一个区块将会分配到一个范围。

image5

分片主键的范围被“关闭”,他们也很有可能落在相同的区块中。这使得mongos可以路由操作到请求数据的分片上。范围分片的效率取决于分片主键的选择,欠考虑的分片主键将导致数据分布不均匀。这将取消一些分片的益处,还可以导致性能瓶颈。

二、分片集群的搭建

由于测试机有限,这里我们只展示最简单的分片搭建,即一个分片、一个配置服务、一个路由。

image6

首先,我们启动配置服务,配置服务的mongodb的配置文件如下:

sharding:
  clusterRole: configsvr
replication:
   replSetName: "rs"
net:
   bindIp: 192.168.2.233

clusterRole设置成configsvr,表名这个mongod是配置服务;副本集的名字叫做“rs”。

./bin/mongod --config conf/mongod.conf

然后,我们通过mongo shell连接这个mongod实例。

mongo --host 192.168.2.233 --port 27019

值得注意的是,配置服务启动时,默认的端口是27019,本人一开始并没有注意到,一直连接27017,连接不上,最后才发现端口不对。然后添加副本集。

rs.initiate()

返回如下:

{
    "info2" : "no configuration specified. Using a default configuration for the set",
    "me" : "192.168.2.233:27019",
    "ok" : 1,
    "operationTime" : Timestamp(1519283130, 1),
    "$gleStats" : {
        "lastOpTime" : Timestamp(1519283130, 1),
        "electionId" : ObjectId("000000000000000000000000")
    },
    "$clusterTime" : {
        "clusterTime" : Timestamp(1519283130, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}

当出现ok=1时,说明添加成功了。

其次,我们启动shard实例。配置文件的内容如下:

sharding:
   clusterRole: shardsvr
replication:
   replSetName: "rs0"
net:
   bindIp: 192.168.2.234

clusterRole配置shardsvr,说明这个实例是shard实例。副本集的名字我们叫做“rs0”,区别于配置服务的“rs”。启动mongod实例

./bin/mongod --config conf/mongod.conf

通过mongo shell连接这个实例

./bin/mongo --host 192.168.2.234 --port 27018

注意shard的实例启动时端口默认为27018。然后初始化副本集

rs.initiate()

返回结果如下:

{
    "info2" : "no configuration specified. Using a default configuration for the set",
    "me" : "192.168.2.234:27018",
    "ok" : 1
}

最后启动mongos实例,配置文件内容如下:

sharding:
  configDB: rs/192.168.2.233:27019
net:
   bindIp: 192.168.2.235

configDB是配置服务副本集的名字,格式如下:副本集名称/ip:端口。启动mongos实例

./bin/mongos --config conf/mongod.conf

注意这里的命令是mongos,而不是之前的mongod。通过mongo shell连接这个实例

./bin/mongo --host 192.168.2.235 --port 27017

这里的端口是mongodb的默认端口27017。向集群中添加分片

sh.addShard( "rs0/192.168.2.234:27018")

分片的格式为:副本集名称/ip:端口。然后添加分片的数据库

sh.enableSharding("<database>")

配置分片的集合和主键

sh.shardCollection("<database>.<collection>", { <key> : <direction> } )

\<key>为主键字段的名字。

\<direction>为以下3种:

  • “1”:主键值正向遍历;
  • “-1”:主键值反向遍历;
  • “hashed”:主键hash值

至此,MongoDB的分片集群介绍完了。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于深度学习的图像目标检测(上)

    有了美丽的封面, 写的兴致又来了。 我们在“深度学习名校课程大全”里面介绍了深度学习的课程。 在“人工智能深度学习人物关系[全]”里面介绍了部分深度学习的人物。...

    史博
  • SVN 以及自动部署配置 原

    用户2836074
  • 从非结构化文本中提取知识

    从人们在互联网上的公开话语中, 可以提取到异常多的信息。 在Heuritech,我们使用这些信息来更好地了解人们想要什么,他们喜欢什么产品以及原因。 这篇文章从...

    史博
  • Mysql探索(一):B-Tree索引

    MySQL是目前业界最为流行的关系型数据库之一,而索引的优化也是数据库性能优化的关键之一。所以,充分地了解MySQL索引有助于提升开发人员对MySQL数据库的使...

    aoho求索
  • 基于可靠消息方案的分布式事务(四):接入Lottor服务

    在上一篇文章中,通过Lottor Sample介绍了快速体验分布式事务Lottor。本文将会介绍如何将微服务中的生产方和消费方服务接入Lottor。

    aoho求索
  • 「mysql优化专题」优化之路高级进阶——表的设计及优化(6)

    数据库范式是确保数据库结构合理,满足各种查询需要、避免数据库操作异常的数据库设计方式。满足范式要求的表,称为规范化表,范式产生于20世纪70年代初,一般表设计满...

    java进阶架构师
  • 天价高考志愿咨询费的背后,真有大数据的支撑?

    然而,不知从什么时候开始一切与高考相关的服务都已经发展成为产业链,从考前的押题、提分密训等等到考后的志愿填报等服务,几乎已经成为暴利行业,各种广告铺天盖地。甚至...

    华章科技
  • 微服务实战(五):落地微服务架构到直销系统(构建高性能大并发系统)

    在现代系统中,特别是互联网软件,通常会涉及到大量用户的并发访问,我们的系统一定要在架构上支持高性能、大并发的访问。一个高性能的系统通常由很多的方面组成,包括数据...

    用户1910585
  • 类似于qq空间类型的评论和回复

    最近学习thinkphp,做了一个博客系统,其中感觉实现一个类似于qq空间的评论和回复功能比较复杂,所以把这次的经历记录下来,与大家共勉,具体的方法就不说了,在...

    lin_zone
  • PostgreSQL连接Oracle数据库 原

    用户2836074

扫码关注云+社区

领取腾讯云代金券