首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MONGODB 索引 大内存 与连锁思维

创建MONGODB 的索引,属于基本操作,但如果是一个有2T 的 collection 要一个索引,也属于基本操作,实际上量变产生质变,很多问题的考虑都不在那么简单。...MONGODB 3.4 的时候有一个参数 setParameter: maxIndexBuildMemoryUsageMegabytes: 1024 这个参数就直接为后台添加索引加速的,如果有足够的内存...,(内存的与wiretiger 无关),则会加速background 添加索引的速度。...所以大collection添加索引,就是一个量变到质变的过程,你需要考虑的问题1 你内存的大小,是否能hold 你添加的索引2 业务上访问度是否是高强度的,如果是,那你及需要考虑上面提到的方法3 oplog...的设计大小其实和你以后一些基础操作有关4 尽量抛弃旧版本,升级到 3.6 及以上的版本,这样可以快速调整oplog的大小 所以一件看上去不值得一提的索引的事情,其实如果量大到一定程度,则考虑和需要分析的问题和

2.5K10
您找到你想要的搜索结果了吗?
是的
没有找到

解决云服务器开机内存与实际不符的问题

起因 最近因为搭建scutosc的论坛,买了一台新的腾讯云的2核4G的服务器,但是开机发现htop命令显示内存只有3.3G: 我觉得很神奇,因为我另一台腾讯云的4核4G的机器,开机之后可用为3.8G。...2G~16G之间的时候,kdump使用512M内存!...[1][2] 那我能不能把kdump预留的内存调小一点呢?...使用以下命令能够查看内核dump所需的内存页面数量: sudo makedumpfile --mem-usage /proc/kcore 可以看到内核dump需要使用的是100038个页,大约390M内存...default/grub文件,把crashkernel参数删掉,关掉kdump.然后使用以下命令,更新grub参数: sudo grub-mkconfig -o /boot/grub/grub.cfg 接着重启服务器即可生效

25610

delete limit是个好习惯么 ?

delete from t where sex = 1 limit 100; 你或许没有用过,在一般场景下,我们对 delete 是否需要 limit 的问题很陌生,也不知有多大区别,今天带你来了解一下...如果是清空表数据建议直接用 truncate,效率上 truncate 远高于 delete,应为 truncate 不走事务,不会锁表,也不会生产大量日志写入日志文件;truncate table table_name 立刻释放磁盘空间...下面只讨论 delete 场景,首先,delete 后面是支持 limit 关键字的,但仅支持单个参数,也就是 [limit row_count],用于告知服务器在控制命令被返回到客户端前被删除的行的最大值...这个例子对我们实践的指导意义就是,在删除数据的时候尽量 limit。这样不仅可以控制删除数据的条数,让操作更安全,还可以减小加锁的范围。...所以,在 delete limit 是个值得养成的好习惯。 好了,本文就带你了解这些,如果有相关疑问和好想法,请在下方留言,方便和小伙伴儿们一起讨论。

62510

Linux 系统开机发生了什么?

BIOS是如何启动的,CPU硬件逻辑设计为在电瞬间强行将CS值置为0XF000,IP为0XFFF0,这样CS:IP就指向0XFFFF0这个位置,这个位置正是BIOS程序的入口地址。...在次 boot loader 存在与内存,就可以对文件系统进行查询了,同时将默认的内核镜像以及初始化内存盘镜像也被加载到内存中。...BIOS:计算机电自检完成第一个读取的地方就是就是BIOS(Basic Input Output System,基础输入输出系统),BIOS里面记录了主机板的芯片集与相关设置,如CPU与接口设备的通信频率...电脑启动,CPU逻辑电路被设计为只能运行内存中的程序,没有能力直接运行存在于软盘或硬盘中的操作系统,如果想要运行,必须要加载到内存(RAM)中。...系统将解压的内核放置在内存之中,并调用start_kernel()函数来启动一系列的初始化函数并初始化各种设备,完成Linux核心环境的建立。

1.9K40

linux系统开机发生了什么?

BIOS是如何启动的,CPU硬件逻辑设计为在电瞬间强行将CS值置为0XF000,IP为0XFFF0,这样CS:IP就指向0XFFFF0这个位置,这个位置正是BIOS程序的入口地址。...在次 boot loader 存在与内存,就可以对文件系统进行查询了,同时将默认的内核镜像以及初始化内存盘镜像也被加载到内存中。...BIOS:计算机电自检完成第一个读取的地方就是就是BIOS(Basic Input Output System,基础输入输出系统),BIOS里面记录了主机板的芯片集与相关设置,如CPU与接口设备的通信频率...电脑启动,CPU逻辑电路被设计为只能运行内存中的程序,没有能力直接运行存在于软盘或硬盘中的操作系统,如果想要运行,必须要加载到内存(RAM)中。...系统将解压的内核放置在内存之中,并调用start_kernel()函数来启动一系列的初始化函数并初始化各种设备,完成Linux核心环境的建立。

2.5K30

delete limit是个好习惯么

喏 → MySQL专栏目录 | 点击这里 在业务场景要求高的数据库中,对于单条删除和更新操作,在delete和update后面limit 1绝对是个好习惯。...delete from t where sex = 1 limit 100; 你或许没有用过,在一般场景下,我们对 delete 是否需要 limit 的问题很陌生,也不知有多大区别,今天带你来了解一下...如果是清空表数据建议直接用truncate,效率上truncate远高于delete,应为truncate不走事务,不会锁表,也不会生产大量日志写入日志文件;truncate table table_name 立刻释放磁盘空间...truncate、drop的区别有哪些,该如何选择》 下面只讨论delete场景,首先,delete后面是支持limit关键字的,但仅支持单个参数,也就是[limit row_count],用于告知服务器在控制命令被返回到客户端前被删除的行的最大值...所以,在 delete limit 是个值得养成的好习惯。 好了,本文就带你了解这些,如果有相关疑问和好想法,请在下方留言,方便和小伙伴儿们一起讨论。

51130

delete limit是个好习惯么 ?

delete from t where sex = 1 limit 100; 你或许没有用过,在一般场景下,我们对 delete 是否需要 limit 的问题很陌生,也不知有多大区别,今天带你来了解一下...如果是清空表数据建议直接用 truncate,效率上 truncate 远高于 delete,应为 truncate 不走事务,不会锁表,也不会生产大量日志写入日志文件;truncate table table_name 立刻释放磁盘空间...truncate、drop 的区别有哪些,该如何选择》 下面只讨论 delete 场景,首先,delete 后面是支持 limit 关键字的,但仅支持单个参数,也就是 [limit row_count],用于告知服务器在控制命令被返回到客户端前被删除的行的最大值...这个例子对我们实践的指导意义就是,在删除数据的时候尽量 limit。这样不仅可以控制删除数据的条数,让操作更安全,还可以减小加锁的范围。...所以,在 delete limit 是个值得养成的好习惯。 之前,给大家发过三份Java面试宝典,这次新增了一份,目前总共是四份面试宝典,相信在跳槽前一个月按照面试宝典准备准备,基本没大问题。

47230

deletelimit是个好习惯么

在业务场景要求高的数据库中,对于单条删除和更新操作,在delete和update后面limit 1绝对是个好习惯。...delete from t where sex = 1 limit 100; 你或许没有用过,在一般场景下,我们对 delete 是否需要 limit 的问题很陌生,也不知有多大区别,今天带你来了解一下...如果是清空表数据建议直接用truncate,效率上truncate远高于delete,应为truncate不走事务,不会锁表,也不会生产大量日志写入日志文件;truncate table table_name 立刻释放磁盘空间...39390545/article/details/107144859 下面只讨论delete场景,首先,delete后面是支持limit关键字的,但仅支持单个参数,也就是[limit row_count],用于告知服务器在控制命令被返回到客户端前被删除的行的最大值...所以,在 delete limit 是个值得养成的好习惯。 好了,本文就带你了解这些,如果有相关疑问和好想法,请在下方留言,方便和小伙伴儿们一起讨论。

60120

delete limit 是个好习惯么

delete from t where sex = 1 limit 100; 你或许没有用过,在一般场景下,我们对 delete 是否需要 limit 的问题很陌生,也不知有多大区别,今天带你来了解一下...truncate、drop 的区别有哪些,该如何选择》 下面只讨论 delete 场景,首先,delete 后面是支持 limit 关键字的,但仅支持单个参数,也就是 [limit row_count],用于告知服务器在控制命令被返回到客户端前被删除的行的最大值...所以,在 delete limit 是个值得养成的好习惯。...delete from t where sex = 1 limit 100; 你或许没有用过,在一般场景下,我们对 delete 是否需要 limit 的问题很陌生,也不知有多大区别,今天带你来了解一下...所以,在 delete limit 是个值得养成的好习惯。

56830

delete limit 是个好习惯么?!

在业务场景要求高的数据库中,对于单条删除和更新操作,在删除和更新限制1绝对是个好习惯。...那么,在日常执行删除时,我们是否需要养成极限的习惯呢?是不是一个好习惯呢? 在日常的SQL编写中,您写删除语句时是否用到过以下SQL?...delete from t where sex = 1 limit 100; 你或许没有用过,在一般场景下,我们对删除是否需要limit的问题很陌生,也不知有多大区别,今天带你来了解一下,记得mark...详细了解请另外篇博文《 delete,truncate,drop的区别有什么,该如何选择》 下面只讨论删除场景,首先,删除后面是支持极限关键字的,但仅支持指定参数,也就是[limit row_count],用于通知服务器在控制命令被返回到客户端前被删除的行的替代...所以,在删除限制是个值得养成的好习惯。 好了,这里就带你了解这些,如果有相关疑问和好想法,请在下方留言,方便和小伙伴儿们一起讨论。 ---- ----

1.1K71

数据库“炸了”,CPU内存?或许还有更好的解决方法!

02 原因分析 众所周知,单台数据库实例的配置是有瓶颈的,特别是关系型数据库,当CPU和内存配置提高到一定程度,性能就不再提升了,即使对数据库的内核进行优化,也只能稍微抬高这个瓶颈线。...在我经历过的应用系统压力测试工作中发现,大厂提供的应用产品通常服务器压力和数据库压力是基本持平的,小的开发商提供的应用系统往往是服务器还没有明显压力,CPU、内存使用率都很低,数据库却已经“炸了”。...所以,底层代码逻辑上是否与数据库合理交互是原因之一,有经验的开发工程师会思考如何尽可能地少与数据库交互,把推拉数据库完成的功能模块转化为通过服务器计算来完成,从而将数据库压力转移到服务器上。...当已经无法通过上面方案降低数据库压力,还可以采用分布式数据库、主从读写分离数据库来横向扩展数据库性能。从原理上分析,横向扩展数据库性能是可以无限提高数据库承压能力的。...纵向提高数据库配置 CPU、内存,性能提升也是有限的,幸运的是,目前大部分数据库都支持分布式架构,或主从读写分离架构。

1.4K30

++i和i++仅仅是先1和1的区别吗?

前置++ 是先将变量的值1,然后使用1的值参与运算。而后置++ 是先使用该值参与运算,然后再将该值1。...按照通俗的见解,虽然后置++是先参与运算,然后再将值1,但是执行对自身的赋值运算,该值也1,变成16才是呀。...况且,后置++对其他变量j赋值,i自身也1了, prePlus3:i=16,j=15 为什么对自己赋值,结果就不一样呢? 实际上,不管是前置++还是后置++,都是先将变量的值1....,然后才继续计算的,,二者之间真正的区别是:前置++是将变量的值1,使用增值的变量进行运算的,而后置++是首先将变量赋值给一个临时变量,接下来对变量的值1,然后使用临时变量进行运算,从效果上来讲...从指令上来说,后置++在执行增值指令iinc前,先将变量的值压入栈,执行增值指令,使用的是之前压入栈的值。

1.6K20

JVM又爆了,别傻傻只会重启内存

前提:某大型跨境电商业务发展非常快,线上机器扩容也很频繁,但是对于线上机器的运行情况,特别是jvm内存的情况,一直没有一个统一的标准来给到各个应用服务的owner。...经过618大促之后,和运维的同学讨论了下,希望将线上服务器的jvm参数标准化,可以以一个统一的方式给到各个应用,提升线上服务器的稳定性,同时减少大家都去调整jvm参数的时间。...公式为1/(1+n) 长期表现 第一个变化:fgc的次数减少,减少了大概一倍以上; mobile工程,调整前基本上一天1-2辆次,调整基本上就是2-3天一次 ? ?...总结: Jvm调优这块还是有一定难度的有时候我们会碰到下面这些问题:OutOfMemoryError,内存不足、内存泄露、线程死锁、Java进程消耗CPU过高。...这些问题在日常开发容易忽视,比如有的人遇到上面的问题只是重启服务器或者调大内存,而不会深究问题根源,但能够理解并解决这些问题是Java程序员进阶的必备要求。

2.1K10

服务器内存监测

而对于程序员而言,如何避免内存泄漏也是一门学问,倘若不加以控制,那么无论多大的内存都会有消耗殆尽的那天。...本文当然不是研究如何分析内存泄漏的产生原因与解决方案,而是在此之前的一步,通过简单的内存监测方式来预测内存泄漏的 潜在可能性 或者 偶发性 等。...我这边需要监测 系统内存 与 jvm堆内存 ,最终的结果会展示各个时间点的内存情况,所以需要一个时间类,表示每个切片的时间点。...timeMarkInterval是存储定时器id的,在销毁之前释放定时器;physicMemory和heapMemory获取图表div节点,用于echarts节点获取;systemInfo则会存储定时从服务器拉取到的数据...由图可见我这个系统堆内存通常消耗不到一百兆,后续可以将堆内存设定的再小一些,以提供给其它服务使用。总体内存是稳定状态,达到一定值会自动回收垃圾,占用率不会逐步提高,是个可控的系统。

11520

服务器内存监测

而对于程序员而言,如何避免内存泄漏也是一门学问,倘若不加以控制,那么无论多大的内存都会有消耗殆尽的那天。...本文当然不是研究如何分析内存泄漏的产生原因与解决方案,而是在此之前的一步,通过简单的内存监测方式来预测内存泄漏的 潜在可能性 或者 偶发性 等。...我这边需要监测 系统内存 与 jvm堆内存 ,最终的结果会展示各个时间点的内存情况,所以需要一个时间类,表示每个切片的时间点。...timeMarkInterval是存储定时器id的,在销毁之前释放定时器;physicMemory和heapMemory获取图表div节点,用于echarts节点获取;systemInfo则会存储定时从服务器拉取到的数据...由图可见我这个系统堆内存通常消耗不到一百兆,后续可以将堆内存设定的再小一些,以提供给其它服务使用。总体内存是稳定状态,达到一定值会自动回收垃圾,占用率不会逐步提高,是个可控的系统。

15040

Redis数据增多了,是该加内存还是实例?

我粗略地计算了一下,这些键值对所占的内存空间大约是 25GB(5000 万 *512B)。所以,当时,我想到的第一个方案就是:选择一台 32GB 内存的云主机来部署 Redis。...因为 32GB 的内存能保存所有数据,而且还留有 7GB,可以保证系统的正常运行。同时,我还采用 RDB 对数据做持久化,以确保 Redis 实例故障,还能从 RDB 恢复数据。...采用多个实例保存数据切片,我们既能保存 25GB 数据,又避免了 fork 子进程阻塞主线程而导致的响应突然变慢。...就像下图中,原来的实例内存是 8GB,硬盘是 50GB,纵向扩展内存增加到 24GB,磁盘增加到 150GB。...当实例之间相互连接,每个实例就有所有哈希槽的映射关系了。 客户端收到哈希槽信息,会把哈希槽信息缓存在本地。当客户端请求键值对时,会先计算键所对应的哈希槽,然后就可以给相应的实例发送请求了。

1.4K20

linux服务器内存

早上到单位 发现服务器 mysql 服务器停了 然后起来了 查询日志 显示 内存满了 把mysql服务给杀了 linux 服务器如果 内存满了 会自动清理进程 防止服务器挂掉 选择的话 谁占的的内存大...就先杀谁 我的服务器里面 mysql服务占的内存是最大的 所以就把mysql就给杀了 image.png 然后 重启mysql 查询内存 image.png 在这说一下 怎么看linux的内存 举个例子...空闲的内存数: 232M shared 当前已经废弃不用,总是0 buffers Buffer 缓存内存数: 62M cached Page 缓存内存数:421M 关系:total(1002M) = used...记住内存是拿来用的,不是拿来看的.不象windows, 无论你的真实物理内存有多少,他都要拿硬盘交换文件来读.这也就是windows为什么常常提示虚拟空间不足的原因.你们想想,多无聊,在内存还有大部分的时候...,拿出一部分硬盘空间来充当内存.硬盘怎么会快过内存.所以我们看linux,只要不用swap的交换空间,就不用担心自己的内存太少.如果常常 swap用很多,可能你就要考虑物理内存了.这也是linux看内存是否够用的标准哦

31.8K10

Nginx proxy_pass的url不加的区别

proxy_pass后缀不加斜杠 location /abc/ { proxy_pass http://172.16.1.38:8080; } 第二种:proxy_pass后缀斜杠...location /abc/ { proxy_pass http://172.16.1.38:8081/; } 上面两种配置,区别只在于proxy_pass转发的路径是否带.../ 针对情况1 :如果访问url = http://server/abc/test.jsp,则被nginx代理,请求路径会便问http://proxy_pass/abc/test.jsp,将test.../ 作为根路径,请求test/路径下的资源 针对情况2 :如果访问url = http://server/abc/test.jsp,则被nginx代理,请求路径会变为 http://proxy_pass...client_max_body_size 100m; proxy_pass http://app; }} 提示:这种location常用于只有一个公网IP和端口场景,内网IP没有进行映射,但是又需要请求我们的内网服务器的服务

2.1K90
领券