随着内部产品业务的搭建，单机的mongo已经无法满足生产需求，对于单机迁移、损坏等问题，简单的单机数据备份已经无法满足，因为采用了集群方式来满足容灾以及数据快速恢复等功能，下面我就来讲讲如何搭建集群来避免这些问题...准备工作 机器信息: 3 台机器 mongo1 mongo2 mongo3 环境: CentOS 6.5 采用策略 Mongo有三种集群方式 1.Replica Set副本 2.Sharding分片 3...自动故障转移，当主节点与集合中的其他成员通信的时间超过配置的electionTimeoutMillis期间（默认为10秒）时，符合条件的复制节点将会被选举成新主节点。...采用的是 keyFile 的方式 由于一开始我没有采用这个方式，直接采用 auth=true 的方式，导致一直报以下的错误。...这里我采用的是 rsync 方式。 所以我们还得配置 ssh。
写在前面 最近读《node.js学习指南》，对于mongodb没有介绍太多的工作原理，但是对于一个前端开发者，即使你还没有用过这种数据库也可以让你很好的理解和使用 一本非常好的介绍node.js的书，我一直把他放在触手可及的地方...）、 Skip（skip n个文档，用于跳页） Hint（告诉数据库使用特定的索引） returnKey（只返回索引的key） Comment（为查询在log日志文件中添加描述...这些选项值我们同样可以在mongo下使用，进行数据的一些操作 1、接下来我们来用find()查询并返回我们数据库的内容，可以直接使用toArray()方法将结果转化为数组 2、使用可选值field来进行筛选...虽然原始驱动提供了数据库的连接，但是缺少更高级别的抽象，有些繁琐，所以有时候你需要使用类似mongoose的ODM， mongoose构建在mongodb之上，提供了Schema、Model和Document...下一次我会总结一下使用express + mongoose建立数据库的连接
MongoDB 最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。...当你想访问大型文件的部分信息，却不想加载整个文件到内存时，您可以使用GridFS 存储文件，并读取文件部分信息，而不需要加载整个文件到内存。...我们的使用场景 我所在的团队负责一个在线设计平台，我们有大量的设计稿文件需要上传到服务器上，即允许设计师在平台上传 PSD / SKETCH 等设计源文件。...MongoDB 集合的命名包括了数据库名字与集合名字，会将数据库名与集合名通过“.”分隔，而且命名的最大长度不得超过 120bytes。...fs.files 集合使用是“filename”与“uploadDate” 字段作为唯一、复合索引。fs.chunk 集合使用的是“files_id”与“n”字段作为唯一、复合索引。
技术分享 | MongoDB 一次排序超过内存限制的排查 本文目录： 一、背景 1. 配置参数检查 2. 排序字段是否存在索引 二、测试环境模拟索引对排序的影响 1. 测试环境信息 2....more than the maximum 33554432 排序操作超过了MongoDB单个Session排序可使用的最大内存限制。...totalDocsExamined：文档扫描总行数 memUsage：Sort 使用内存排序操作使用的内存大小 memLimit：MongoDB 内部限制Sort操作的最大内存 上述执行计划表明查询语句在未使用索引排序的情况下如果排序使用的内存超过...Stage，官方文档说明了使用内存排序能使用最大的内存为100M，若需要避免报错则需要添加 {allowDiskUse : true} 参数。...使用索引扫描的效率是远大于直接将结果集放在内存排序的，所以MongoDB为了使查询语句更有效率的执行，限制了 排序内存的使用，因而规定了只能使用 32M，该种考虑是非常合理的。
more than the maximum 33554432 排序操作超过了MongoDB单个Session排序可使用的最大内存限制。...文档中意思大概是：在排序字段未利用到索引的情况下，若超过32M内存则会被Abort，语句直接返回报错。...totalDocsExamined：文档扫描总行数 memUsage：Sort 使用内存排序操作使用的内存大小 memLimit：MongoDB 内部限制Sort操作的最大内存 上述执行计划表明查询语句在未使用索引排序的情况下如果排序使用的内存超过...Stage，官方文档说明了使用内存排序能使用最大的内存为100M，若需要避免报错则需要添加 {allowDiskUse : true} 参数。...使用索引扫描的效率是远大于直接将结果集放在内存排序的，所以MongoDB为了使查询语句更有效率的执行，限制了 排序内存的使用，因而规定了只能使用 32M，该种考虑是非常合理的。
现在市面上可用的就是微博的t.cn和一些第三方的生成短链接工具，但这两类工具都有一些使用上的问题，例如：t.cn现在的规则是会出现一个中转页不会直接跳转，而第三方的工具因为是一个公共平台，有时可能会因一些不良信息导致整个平台无法访问...为了高效，我这使用的是node和mongodb，下面我们就来开始动手吧。...和shortid和body-parser npm install mongoose npm install shortid npm install body-parser 下面分别对使用到的这三个包简单说明一下...由于我们生成短链接部分的api使用的是post方法，使用body-parser可以多扩展一种body编码类型解析能力。...因为这个应用我们只有生成和Redirect两个功能，所以这里只有两个页面即可完成所有工作。
此外，先进先出的特性保证了事件的顺序，同时管理了存储的使用。 在固定集合中缓存少量数据。由于缓存重读而非写，你应确保这个集合总在工作集中（例如，内存中）或接受一点点写操作，因为索引需要写操作。...为了使查询结果的排序与插入时相反，可以使用sort() 方法并将$natural参数设置为-1： db.cappedCollection.find().sort( { $natural: -1 } )...这些索引允许你利用一种特殊的类型使数据过期并从普通集合中移除，这种特殊的类型是基于时间字段值和TTL值的。 TTL集合与固定集合不兼容。...设置单个文档大小的最大值有助于确保单个文档不会耗尽系统内存，或者在传输的过程中不会占用太多的带宽。为了能够存储超过最大值的文档，MongoDB提供了GridFS API。...对于数组而言，小于比较或者升序排序比较的是数组中最小的元素，大于比较或者降序排序比较的是数组中最大的元素。
可见mongo的语法非常适合前端。...也需要一个odm工具来方便更好的操作。而mongoose就是i 一个良好的工具。 mongoose是一个优雅的nodejs对象文档模型。它是由关系型数据库的思想去应用到非关系型数据库。...文档地址：https://mongoosejs.com/docs/guide.html 安装： npm install mongoose -S 增删改查使用实例 const mongoose = require...如果我要实现某篇文章的评论统计的功能。...Keystone是以Express和MongoDB和mongoose为基础搭建的开源的Node.js CMS和web应用程序平台。
在 mongo 使用过程中遇到了一个问题，需求就是要对mongo 库中查询到数据进行分页，mongo库我们知道都会存储大容量的数据，刚开始使用的 skip 和 limit 联合使用的方法，来达到截取所需数据的功能...按照错误提示，知道这是排序的时候报的错，因为 mongo 的 sort 操作是在内存中操作的，必然会占据内存，同时mongo 内的一个机制限制排序时最大内存为 32M，当排序的数据量超过 32M,就会报上面的这个错...，解决办法就像上面提示的意思，一是加大 mongo 的排序内存，这个一般是运维来管，也有弊端，就是数据量如果再大，还要往上加。...; 这两个语句，第一个是添加索引，第二个是查询索引，如果查看到你刚才添加的那个索引字段，就说明索引添加成功了。...这时候在你的程序里再运用 sort 方法的话，这样就不会报错而且速度很快。 添加索引会带来一定的弊端，这样会导致数据插入的时候相对之前较慢，因为索引会占据空间的。
多列索引列个数最多不超过 31 前台模式 createIndexes内存限制500 MB （maxIndexBuildMemoryUsageMegabytes 可调整） 不允许创建多列数组的组合索引...答：提高选举效率、减少心跳网络代价 1.6 分布式集群限制 分片 key 最大长度不能超过 512 字节 分片 key 索引类型不能是 text 、数组索引和 geo 索引 分片集合单个文档的条件操作必须带分片...，加快资源的释放 默认事务申请锁等待时间 5 ms 如果超时即崩溃退出 1.8 其他限制 全集合扫描排序的内存限制 32 MB [否则报错] 最佳实践： 为排序添加索引；控制排序数据量 Aggregation...管道操作的内存限制 100 MB 最佳实践： 控制计算数据量 调整 allowDiskUse 允许磁盘排序 bulkWrite 操作每批最大操作数限制 1000 或 10 w (>= 3.6) 最佳实践...实际上特别简单，不用去计算它每个字段的字节数或者有多少索引，每个索引它的字段对应的字节数，直接拿真实的环境或者跟线上环境类似的测试环境直接模拟写数据，然后直接去查看对应的一个数据大小就可以。
关于如何处理 node.js 服务连接 MongoDB，我查阅了大量中英文资料，发现并没有太适合我所期望的能力的方案，因此经过一番官方文档的研究，总结了以下的连接 MongoDB 的方法（使用目前 Node.js...) module.exports = { mongoInstance } 这套连接方法能够满足以下需求，当然，这也是从我的服务需要满足的需求中总结而来的： 开发环境下能够打印详细的数据库操作信息...对于 MongoDB 连接池的问题，建议是不要去手动处理。mongoose 自己会维护一个默认最大数量为 5 的连接池，只有当你发现有一些慢查询可能阻塞快查询时才应该考虑增大 poolSize。...解决方法也不是没有，就是比较鸡肋：在 mongoose 连接的 'error' 事件监听回调函数中尝试重连。但是需要设置最大重试次数，否则会发生内存泄露。...比较鸡肋的原因是，如果首次连接没有成功，短时间内尝试重连几次貌似也无济于事。因此，使用这套连接方式务必要注意数据库保持可连接状态。或者读者们如果有更好的解决方案，也希望能不吝赐教。 完。
in_array(),array_key_exists 哪一个更好 怎样判断select语句中是否使用了索引？explain 等的使用 sphinx的中文分词词库使用第三方库还是自己建库？...安装linux软件时使用make方式还使用yum方式？ linux网络优化，如何查看进程、怎样查看最大文件打开数？ 1条微薄要推送给100万个粉丝该怎么处理？ 知道哪些算法？冒泡排序？快速排序？...C语言中的虚函数是什么？ C排序算法有哪些？ php 基本结构是什么？ memcache magent 分布式设计？ php的内存回收机制是什么?...给你256M的内存,对10G的文件进行排序(文件每行1个数字),如何实现？ 对10G的文件进行查找如何实现？ 统计10G文件每个关键字出现的次数如何实现？...我的所有问题都问完了（当然没有这么多）,你有什么问题问我没有？
本文主要讨论这几个问题： Mongo shell中使用大整数字面量 片键使用自增长字段 程序里游标循环迭代过程中进行长时间的操作 滥用数组类型 滥用upsert更新参数 错误的设计索引 错误的认为复制等于备份...（本文讨论在社区交流群以及工作开发过程中常见的一些错误。）...所以当我们在mongo shell中直接使用整数字面量时，实际上它是以double表示的，而当这个整数字面量大约超过16位数字时，就可能发生有些整数无法精确表示的情况，只能使用一个接近能表示的整数来替代...但问题是，首先，在MongoDB中文档有大小限制，目前版本中每个文档最大不能超过16M，所以使用内嵌文档存储无法满足粉丝或关注好友增长的需求，大用户节点可能将会有大量粉丝或关注用户，超过16M，届时程序将很难扩展...是否可以建立复合索引，复合索引字段如何组织顺序，才能使得复合索引能够覆盖更多的查询需求，满足范围查询的需求，满足排序的需求（通常复合索引中，按照等值查询、排序、范围查询的顺序来组织索引字段，同时结合考虑索引选择性
• 我们的程序都是在内存中运行的，一旦程序运行结束或者计算机断电，程序运行中的数据都会丢失。 • 所以我们就需要将一些程序运行的数据持久化到硬盘之中，以确保数据的安全性。...（升序） //sort() 可以用来指定文档的排序的规则，sort() 需要传递一个对象来指定排序规则，1 表示升序显示该字段的数据；-1 表示降序显示该字段的数据，0 表示不显示该字段的数据。...//limit、skip、sort 可以以任意的顺序进行调用 db.emp.find({}).sort({sal: 1, empno: -1}); // 按照工资升序排序，工资相同时按照员工编号降序排序...一旦创建好了 Model 对象，就会自动和数据库中对应的集合建立连接，以确保在应用更改时，集合已经创建并具有适当的索引，且设置了必须性和唯一性。 ...conn_mongo.js var mongoose = require("mongoose"); mongoose.connect("mongodb://127.0.0.1/mongoose_test
在本篇文章中，我将展现一种给读请求定制的索引优化方法，这种方法会考虑读请求中的比较，排序以及范围过滤运算，并展示符合索引中字段顺序的最优解。...最优索引必须包含查询的所有过滤字段和排序字段。另外，所有的范围过滤字段或排序字段必须跟在等式过滤字段后面。如果有多个满足条件的索引，Mongo会选择任意一个。...需要有一个索引，能让MongoDB快速定位到非匿名区，并以rating字段由大到小的顺序扫描该区。 ? MongoDB会使用这个索引吗？并不会，因为这个索引无法在查询优化器的选择中胜出。...因为他的nscanned不是最低的。 查询优化器可不管索引是否对排序有帮助。 不过我们可以使用Hint字段强制Mongo使用该索引 ?...如果某些字段不会被查询条件使用到，那就不需要将其加入索引中，这样可以减小索引大小。此外，如果某个字段作为索引，无法过滤掉90%以上的数据，就建议将其从索引中忽略。
我们还有一个 app.ts，它是服务器的入口。控制器、类型和路由也在它们各自以它们命名的的文件夹中。 现在，我们需要配置 tsconfig.json，使编译器运行我们的首选项。...在编译时会排除数组中的文件或文件夹 现在我们安装依赖项，使项目可以使用 TypeScript。...接下来，我使用类型转换来避免拼写错误，并限制 body 变量与 ITodo 类型匹配，然后基于该模块创建一个新的 Todo。...用 React 和 TypeScript 创建客户端 构建 为了创建一个新的 React 应用，我将会使用 create-react-app ——你可以用其他你想用的方法。...最值得注意的是 src/type.d.ts 被用来存放类型。我几乎在每个文件中都使用了它们，所以我添加了扩展 .d.ts ，使类型全局可用。现在我们不再需要导入它们。
例3 某日线上服务报警:API响应时间超过X毫秒 通过查看应用日志，发现大量 com.mongodb.MongoSocketReadTimeoutException:mongo的错误。...":23},"sort":{"_id":-1},"limit":1}} 索引是bizId,version的联合索引 问题分析 这几个查询造成的线上问题的形式虽然各有不同，但本质上都是一样，无法利用索引排序...，需要用到数据库排序，当内存够大或没超过排序上限时，就会在内存中排序，这样单个查询相对比较快，但是并发量高了，内存容量不够了，需要进行磁盘排序时，就会变得很慢。...但其实像例子中那些案例，都是无法利用索引排序的。曾经在mongo索引篇介绍联合索引如何创建时也提到过。...总结一下，造成数据库服务问题主要根由是 查询没有利用到索引排序 索引过滤后下面数据仍然有很多，需要扫描排序的数据很多 请求的并发量很高，数据库IOPS使用率高，内存占用高。
这里，讲师再次推荐了自己的一个课程，鉴于此次购买课程自己不是很满意，这里，我觉得自己补充mongoose的基础知识就够了，总结至：https://www.yuque.com/liugezhou/gofftg...如图显示这个版本是5.0.8的，也就是说我之前电脑上其实是有redis的，我新安装的这个6.0.9的并没有用上。...然后，我继续查看目录，发现我之前安装的5.0.8的版本,其实在 /usr/local/redis-5.0.8下面,而且我不是使用的brew安装的 因此，我又把刚刚安装的redis删除： brew...优缺点 优点：不占用服务器内存、多进程,多服务器,不受影响、不受跨域限制 缺点：无法快速封禁登录的用户。...: true, // 多个实例，合并日志 max_memory_restart: '300M', // 内存占用超过 300M ，则重启,可使用 pm2 monit查看初始内存占用，然后根据初始设置
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
