首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MONGODB 索引 大内存 与连锁思维

创建MONGODB 的索引,属于基本操作,但如果是一个有2T 的 collection 要一个索引,也属于基本操作,实际上量变产生质变,很多问题的考虑都不在那么简单。...MONGODB 3.4 的时候有一个参数 setParameter: maxIndexBuildMemoryUsageMegabytes: 1024 这个参数就直接为后台添加索引加速的,如果有足够的内存...,(内存的与wiretiger 无关),则会加速background 添加索引的速度。...所以大collection添加索引,就是一个量变到质变的过程,你需要考虑的问题1 你内存的大小,是否能hold 你添加的索引2 业务上访问度是否是高强度的,如果是,那你及需要考虑上面提到的方法3 oplog...的设计大小其实和你以后一些基础操作有关4 尽量抛弃旧版本,升级到 3.6 及以上的版本,这样可以快速调整oplog的大小 所以一件看上去不值得一提的索引的事情,其实如果量大到一定程度,则考虑和需要分析的问题和

2.5K10
您找到你想要的搜索结果了吗?
是的
没有找到

Linux服务器如何释放内存空间

Linux服务器运行一段时间后,由于其内存管理机制,会将暂时不用的内存转为buff/cache,这样在程序使用到这一部分数据时,能够很快的取出,从而提高系统的运行效率,所以这也正是Linux内存管理中非常出色的一点...,所以乍一看内存剩余的非常少,但是在程序真正需要内存空间时,Linux会将缓存让出给程序使用,这样达到对内存的最充分利用,所以真正剩余的内存是free+buff/cache 但是有些时候大量的缓存占据空间...,这时候应用程序回去使用swap交换空间,从而使系统变慢,这时候需要手动去释放内存,释放内存的时候,首先执行命令 sync 将所有正在内存中的缓冲区写到磁盘中,其中包括已经修改的文件inode、已延迟的块...echo 3 > /proc/sys/vm/drop_caches 执行完之后,再次查看内存剩余: 会发现内存被释放了,可用内存变为653M左右。...到这里内存就释放完了,现在drop_caches中的值为3,另外需要注意的是,在生产环境中的服务器我们不要频繁的去释放内存,只在必要时候清理内存即可,更重要的是我们应该从应用程序层面去优化内存的利用和释放

23K10

如何查看服务器配置:核数和内存

CPU的情况 top top 命令是监视 Linux 中实时系统进程的基本命令之一,显示系统信息和正在运行的进程信息,如:正常运行时间,平均负载,正在运行的任务,登录的用户数,CPU利用率,MEM利用率,内存和交换信息...2、查看内存总容量 # /proc/meminfo统计的是系统全局的内存使用状况 cat /proc/meminfo # MemTotal: 总的物理内存,需要转换一下 # MemFree: 空闲内存...,表示系统尚未使用的内存 2.1)通过free来显示内存的使用情况 free free -m free -g # 默认不加参数就是以 KB 为单位显示结果, # 可以-m,显示内存总量,以...MB 为单位显示结果, # 可以-g,显示内存总量,以 GB 为单位显示结果。

12K20

数据库“炸了”,CPU内存?或许还有更好的解决方法!

在我经历过的应用系统压力测试工作中发现,大厂提供的应用产品通常服务器压力和数据库压力是基本持平的,小的开发商提供的应用系统往往是服务器还没有明显压力,CPU、内存使用率都很低,数据库却已经“炸了”。...所以,底层代码逻辑上是否与数据库合理交互是原因之一,有经验的开发工程师会思考如何尽可能地少与数据库交互,把推拉数据库完成的功能模块转化为通过服务器计算来完成,从而将数据库压力转移到服务器上。...所以,我准备从产品代码、中间件、读写分离三块来讲解如何优化应用对数据库的使用,提升应用系统性能。 03 在代码层面消化数据库压力 在代码层面可以通过创建索引和转移压力两种方式给数据库减压。...Redis缓存数据库是将数据以键值对的形式缓存在内存中的高效数据库。...纵向提高数据库配置 CPU、内存,性能提升也是有限的,幸运的是,目前大部分数据库都支持分布式架构,或主从读写分离架构。

1.4K30

JVM又爆了,别傻傻只会重启内存

前提:某大型跨境电商业务发展非常快,线上机器扩容也很频繁,但是对于线上机器的运行情况,特别是jvm内存的情况,一直没有一个统一的标准来给到各个应用服务的owner。...经过618大促之后,和运维的同学讨论了下,希望将线上服务器的jvm参数标准化,可以以一个统一的方式给到各个应用,提升线上服务器的稳定性,同时减少大家都去调整jvm参数的时间。...总结: Jvm调优这块还是有一定难度的有时候我们会碰到下面这些问题:OutOfMemoryError,内存不足、内存泄露、线程死锁、Java进程消耗CPU过高。...这些问题在日常开发容易忽视,比如有的人遇到上面的问题只是重启服务器或者调大内存,而不会深究问题根源,但能够理解并解决这些问题是Java程序员进阶的必备要求。

2.1K10

宝塔面板+云服务器内存经常爆满如何优化?

很多低内存服务器比如1G或者更低的服务器,安装宝塔面板后发现经常内存爆满,很多用户误以为是宝塔占用较大的内存导致的问题,其实不然,宝塔本身占用的系统内存并不高的,大约70M左右的内存占用,以linux...为例所以我们要如何优化降低服务器内存消耗呢。...1、优化mysql内存占用 mysql服务通常是占用内存较高的服务之一,最消耗内存的,因此我们需要调整优化性能,点击mysql设置-性能调整。...3、卸载不需要的一些软件 以阿里云为例,阿里云服务器会自动运行阿里云盾。比如安装了多个版本的php,但是使用的却使用一个,则保留一个版本的即可,去掉多余的php。...5、启用流量控制方案,安装防火墙 网站被频繁的高并发访问也会带来高内存的占用,因此要注意屏蔽恶意访问,非正常的访问流量,避免服务器和网站被攻击导致高内存的占用。 ?

12.4K11

服务器内存监测

而对于程序员而言,如何避免内存泄漏也是一门学问,倘若不加以控制,那么无论多大的内存都会有消耗殆尽的那天。...本文当然不是研究如何分析内存泄漏的产生原因与解决方案,而是在此之前的一步,通过简单的内存监测方式来预测内存泄漏的 潜在可能性 或者 偶发性 等。...我这边需要监测 系统内存 与 jvm堆内存 ,最终的结果会展示各个时间点的内存情况,所以需要一个时间类,表示每个切片的时间点。...timeMarkInterval是存储定时器id的,在销毁之前释放定时器;physicMemory和heapMemory获取图表div节点,用于echarts节点获取;systemInfo则会存储定时从服务器拉取到的数据...由图可见我这个系统堆内存通常消耗不到一百兆,后续可以将堆内存设定的再小一些,以提供给其它服务使用。总体内存是稳定状态,达到一定值会自动回收垃圾,占用率不会逐步提高,是个可控的系统。

11520

Redis数据增多了,是该加内存还是实例?

我曾遇到过这么一个需求:要用 Redis 保存 5000 万个键值对,每个键值对大约是 512B,为了能快速部署并对外提供服务,我们采用云主机来运行 Redis 实例,那么,该如何选择云主机的内存容量呢...如何保存更多数据? 在刚刚的案例里,为了保存大量数据,我们使用了大内存云主机和切片集群两种方法。...就像下图中,原来的实例内存是 8GB,硬盘是 50GB,纵向扩展后,内存增加到 24GB,磁盘增加到 150GB。...要想把切片集群用起来,我们就需要解决两大问题: 数据切片后,在多个实例之间如何分布? 客户端怎么确定想要访问的数据在哪个实例上? 接下来,我们就一个个地解决。...可以自行Googel查询 那么,这些哈希槽又是如何被映射到具体的 Redis 实例上的呢?

1.4K20

服务器内存监测

而对于程序员而言,如何避免内存泄漏也是一门学问,倘若不加以控制,那么无论多大的内存都会有消耗殆尽的那天。...本文当然不是研究如何分析内存泄漏的产生原因与解决方案,而是在此之前的一步,通过简单的内存监测方式来预测内存泄漏的 潜在可能性 或者 偶发性 等。...我这边需要监测 系统内存 与 jvm堆内存 ,最终的结果会展示各个时间点的内存情况,所以需要一个时间类,表示每个切片的时间点。...timeMarkInterval是存储定时器id的,在销毁之前释放定时器;physicMemory和heapMemory获取图表div节点,用于echarts节点获取;systemInfo则会存储定时从服务器拉取到的数据...由图可见我这个系统堆内存通常消耗不到一百兆,后续可以将堆内存设定的再小一些,以提供给其它服务使用。总体内存是稳定状态,达到一定值会自动回收垃圾,占用率不会逐步提高,是个可控的系统。

15040

linux服务器内存

早上到单位 发现服务器 mysql 服务器停了 然后起来了 查询日志 显示 内存满了 把mysql服务给杀了 linux 服务器如果 内存满了 会自动清理进程 防止服务器挂掉 选择的话 谁占的的内存大...就先杀谁 我的服务器里面 mysql服务占的内存是最大的 所以就把mysql就给杀了 image.png 然后 重启mysql 查询内存 image.png 在这说一下 怎么看linux的内存 举个例子...空闲的内存数: 232M shared 当前已经废弃不用,总是0 buffers Buffer 缓存内存数: 62M cached Page 缓存内存数:421M 关系:total(1002M) = used...记住内存是拿来用的,不是拿来看的.不象windows, 无论你的真实物理内存有多少,他都要拿硬盘交换文件来读.这也就是windows为什么常常提示虚拟空间不足的原因.你们想想,多无聊,在内存还有大部分的时候...,拿出一部分硬盘空间来充当内存.硬盘怎么会快过内存.所以我们看linux,只要不用swap的交换空间,就不用担心自己的内存太少.如果常常 swap用很多,可能你就要考虑物理内存了.这也是linux看内存是否够用的标准哦

31.8K10

Linux系列(五):如何查看服务器内存使用情况

1. free命令 free 命令显示系统使用和空闲的内存情况,包括物理内存、交互区内存(swap)和内核缓冲区内存。...,如果机器剩余内存非常小,一般小于总内存的20%,则判断为系统物理内存不够 Swap: 表示硬盘上交换分区的使用情况,如剩余空间较小,需要留意当前系统内存使用情况及负载,当Swap的used值大于0时,...则表示操作系统物理内存不够,已经开始使用硬盘内存了。...第1行数据11G表示物理内存总量;6.5G表示总计分配给缓存(包含buffers与cache)使用的数量,但其中可能部分缓存并未实际使用; 1.3G表示未被分配的内存;shared表示共享内存;4.0G..., 如下图所示,第一列为进程占用的内存百分比,可以看到哪些应用程序占的内存比较多,用于排查问题: 2. top命令 top 命令查看系统的实时负载, 包括进程、CPU负载、内存使用等等; 直接输入top

15.8K30
领券