专栏首页猪圈子面试题十一期-MongoDB分布式集群环境搭建

面试题十一期-MongoDB分布式集群环境搭建

小黄鸡今日推荐>>>MongoDB篇 diligence redeems stupidity

(勤能补拙)

第一节分片的概念

分片(sharding)是指根据片键,将数据进行拆分,使其落在不同的机器上的过程。如此一来,不需要功能,配置等强大的机器,也能储存大数据量,处理更高的负载。

第二节分片的原理和思想

MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面,每个片只负责总数据的一部分。

  对于客户端来说,无需知道数据被拆分了,也无需知道服务端哪个分片对应哪些数据。数据在分片之前需要运行一个路由进程,进程名为mongos。这个路由器知道所有数据的存放位置,知道数据和片的对应关系。对客户端来说,它仅知道连接了一个普通的mongod,在请求数据的过程中,通过路由器上的数据和片的对应关系,路由到目标数据所在的片上,如果请求有了回应,路由器将其收集起来回送给客户端

第三节分片的简单实现

1.片键的概念

  设置分片时,需要从集合里面选一个键,用该键的值作为数据拆分的依据。这个键称为片键(shard key)。{department:"IT",name:"zhangsan"},{department:"HR",name:"lisi"},{department:"SUPPORT",name:"zhaowu"}

  以该数据为例,表示的是职员名字以及所在的部门,假若我们设置部门(department)为片键,那么第一片可能存放名称以字母A-F开头的部门,第二片存放名称以G~P开头的部门,第三片存Q~Z,如此类推。随着添加或者删除片,MongoDB会重新平衡数据,使每片的流量都比较均衡,数据量也在合理范围内。

2.本地模拟实现

  a.首先mongod开启服务端3个节点,端口分别为8080,8081,8082

  b.开启config服务器 。mongos要把mongod之间的配置放到config服务器里面,所以首先开启它,这里就使用8083端口。 命令为:mongod --dbpath E:\sharding\config_node --port 8083

  c、开启mongos服务器 。端口8084,同时指定下config服务器。命令为:mongos --port 8084 --configdb=127.0.0.1:8083

  d.路由指定服务端节点。客户端直接跟mongos打交道,也就说明我们要连接mongos服务器,然后将8080,8081,8082的mongod交给mongos,添加分片也就是addshard()。需要进到路由节点的admin数据库进行配置。allowLocal表示该服务端节点,可被客户端直接连接而无需经过路由。

db.runCommand({"addshard":"127.0.0.1:8080",allowLocal:true})

db.runCommand({"addshard":"127.0.0.1:8081",allowLocal:true})

        db.runCommand({"addshard":"127.0.0.1:8082",allowLocal:true})

  e.开启数据库分片功能,命令为enablesharding(),并指定数据库名称,如下指定每个mongod都有的test数据库

db.runCommand({"enablesharding":"test"})

  f.指定集合中分片的片键,这里就指定为company.department键.      db.runCommand({"shardcollection":"company.department","key":{"depatment":1}})

  g.通过向mongos节点插入100万条数据,查看各节点保存的数据。

  h.通过向mongos插入一条数据,查看数据被分配到哪个片

本文分享自微信公众号 - 猪圈子(Tester-sc)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MYSQL 8 vs MYSQL 5.7 ORACLE 到底怎么想的? (二)

    1 在MYSQL 5.7 临时表包含了一个 "converting HEAP to on disk", 意思当临时表达到最大的内存使用的限制(一个表一个)16M...

    AustinDatabases
  • 解密 Redis 助力双 11 背后电商秒杀系统

    原文链接:http://t.cn/EAlQqQD

    业余草
  • Springboot 系列(九)使用 Spring JDBC 和 Druid 数据源监控

    作为一名 Java 开发者,相信对 JDBC(Java Data Base Connectivity)是不会陌生的,JDBC作为 Java 基础内容,它提供了一...

    未读代码
  • centos 手动安装mysql8

    官网太慢了,在清华镜像站下载:https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/MySQL-8.0/

    pollyduan
  • 43种常见软件测试分类

    我们每个人在测试过程中都会遇到几种类型的测试。我们可能听过一些,也许已经做了一些工作,但是并不是每个人都了解所有测试类型。

    八音弦
  • Springboot 系列(十一)使用 Mybatis 访问数据库

    MyBatis 是一款优秀的持久层框架,它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数获取结果集的过...

    未读代码
  • Ubuntu18 的超详细常用软件安装

    心血来潮,在笔记本安装了Ubuntu 18 用于日常学习,于是有了下面的安装记录。

    未读代码
  • MONGODB 磁盘与内存的数据格式是否一致

    但后续的问题我模糊了,例如磁盘和内存的数据是否完全一致,压缩的比率是多少,等等。人无完人,我也不是DB 百科全书。不过好在还不是中年油腻大叔,模糊了那就lear...

    AustinDatabases
  • MongoDB系列---用户及权限管理02

    2.1.2 查看admin中的用户 我们可以通过 db.system.users.find()函数来查看 admin 库中的所有用户信息...

    Arebirth
  • 面试题: 分布式事务

    随着微服务架构的普及,一个大型业务系统往往由若干个子系统构成,这些子系统又拥有各自独立的数据库。往往一个业务流程需要由多个子系统共同完成,而且这些操作可能需要在...

    框架师

扫码关注云+社区

领取腾讯云代金券