DB说-腾讯云开发者社区

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

DB说

专栏成员

46

文章

83878

阅读量

12

订阅数

MongoDB副本集初始化实例方式以及注意事项

mongodb 数据库 sql 云数据库 MongoDB

最近线上一套集群出现一个服务器故障导致闪存卡异常,经过抢救后无效,只能更换新闪存卡,导致这个节点上数据丢失,只能进行初始化来恢复.执行初始化动作很简单,启动空实例即可.全量复制很顺利,但通过oplog将从库恢复到一致性时,发现速度非常慢.由此案例了解逻辑复制大概过程、存在问题以及其他初始化方式.

2022-12-19

1.5K0

MongoDB中null性能问题以及如何应对

sql mongodb 数据库云数据库 SQL Server 云数据库 MongoDB

在使用ORACLE、MYSQL以及MongoDB数据库时,其中查询时经常遇到NULL的性能问题，例如Oracle的索引中不记录全是NULL的记录,MongoDB中默认索引中会记录全是null的文档，MongoDB查询等于null时，表示索引字段对应值是null同时还包括字段不存在的文档.因为MongoDB是动态模式,允许每一行的字段都不一样,例如记录1中包括包括字段A等于1,记录2包括字段A等于null,记录3不包括字段A,那么索引中不仅会包括A等于null的文档，同时也记录不包括A字段的文档，同样会赋予null值(空数组属于特殊的).正是由于这些设计规则不同,难免在使用过程中就会遇到各种性能问题.常见查询包括统计null总数以及对应明细数据.其中以汇总统计为例.

2022-12-19

2.5K0

巧用MongoDB部分索引优化性能问题

数据分析 express

最近研发提交业务需求,大概逻辑就是先统计总数，然后分页进行导出.SQL查询条件很简单。根据时间范围以及productTags字段必须存在作为条件.目前每天大约5000万数据量,数据保留6个月满足条件数据不多.但在没有索引的情况下,前端导出是卡死的.本次只讨论count性能问题，分页导数同样需要优化．具体SQL如下：

2022-09-22

1.2K0

MongoDB 5.0 PSA副本集与分片下默认写关注差异

接上一篇MongoDB PSA架构痛点以及如何应对有朋友指出,5.0分片集群采用PSA时,出现S宕机时,客户端写入hang,并没有按官方文档描述那样PSA默认写是w:1.我当初只是验证PSA副本集发现与官方描述一致,但并没有验证分片架构.导致存在偏差.

2022-09-22

3170

MongoDB PSA架构痛点以及如何应对

最近MongoDB群里面有群友遇到2次重启MongoDB后一直处于实例恢复状态(应用OPLOG)，多达几天甚至更长才完成重启,下图是群友重启后周末2天都没有完成重启,一直处于实例恢复状态，导致业务一直不可用状态。MongoDB这么弱吗？重启实例需要恢复这么久才能完成？那谁还敢用？通常MongoDB副本集三个实例作为标准，重启主库会发生重新选出新主节点(通常在12s内完成)重新对外服务,事与愿违通常不符合官方标准化或者内部发生异常导致的。经过了解副本集采用PSA架构且存在一个数据从节点不可达的情况(甚至有的从节点宕机几个月没有发现),来分析这些情况以及如何对应。主要包括如下内容(WT存储引擎下版本是3.2,3.4,3.6,4.0,4.2为主,4.4,5.0也存在)

2022-09-22

7960

MongoDB中如何返回数组对象中第一个对象

在使用MongoDB数据库时,为了减少关联操作,我们通常采用嵌套模型,数组对象是比较常见,例如商品的评论、关注好友等,通常返回前面N条或者第一条之类来减少网络流量(所有历史消息意义可能不大).另外就是单个有16M的限制,此时可能采用连接方式，将部分信息存储在另外一个集合中。最近刚好遇到一个find需求，针对结果集的数组只返回第一条元素。我们知道MongoDB针对数组操作符非常丰富。接下来主要介绍,elemMatch,

2022-09-22

12.8K0

OGG复制MYSQL到ORACLE时空字符串问题

编程算法 oracle sql 数据库云数据库 SQL Server

使用OGG同步MYSQL数据到ORACLE,如果表没有主键，那么此时使用所有列作为条件来更新或者删除数据，MYSQL里面存在空字符串,同步到ORACLE数据库时转换成空(NULL)，注意这个不是在OGG层转换，而是依赖数据库的转换,那么此时更新或者删除会遇到非常经典错误1403(找不到数据)，注意触发场景是表没有主键且更新或者删除时存在空字符串。以下是模拟过程以及几种方案。

2022-09-22

6280

如何快速批量导出MongoDB结构

mongodb 数据库 sql 云数据库 MongoDB 腾讯云测试服务

最近接到这样的需求,需要生产环境所有MongoDB的表结构导入一份到测试环境包括集合的分片信息以及对应索引.我们知道MongoDB是动态模式,每一行对应列可能都不同以及索引信息也没有类似数据字典去记录,需要通过循环每个db以及每个集合去getIndexes()(老版本有类似数据字典可以查询),我们环境中分片以及索引创建都是dba去创建,没有在代码中创建(如果在代码中生成,直接搭建好MongoDB环境启动应用即可自动生成),本次主要针对非代码自动创建的情况如何快递导出MongoDB结构.

2022-09-22

1.3K0

MongoDB 4.4 读写分离、副本集相关BUG

编程算法 mongodb 数据库 sql 云数据库 MongoDB

MongoDB 4.4.4集群稳定运行将近半年,由于操作系统安全漏洞,需要升级系统版本来修复，需要将MongoDB实例关闭，然后进行系统升级后重启服务器。关闭MongoDB实例，如是实例是主库，那么执行主备切换即可(使用rs.stepDown()或者修复优先级别),原本很简单的事情(4.4之前版本操作N次)，结果遇到2个BUG。第一个是分片集群下读写分离第二主备切换出现实例全部宕机(这个出乎意料，并不是每次都触发)，修复这2个BUG，MongoDB至少采用4.4.7版本.如果没有使用读写分离，建议采用4.4.6版本(4.4.5不建议使用)

2022-09-22

1.1K0

MongoDB 非分片集合转分片集合

mongodb 数据库 sql 云数据库 MongoDB 编程算法

MongoDB的核心优势之一可扩展性,给运维带来的极大便利与节约成本,业务初期可以部署小的集群或者副本集,后续可以水平扩容节点或者把副本集转换成集群模式来满足业务快速增长.其中集群模式下集合也可以非分片.本次主要讨论将非空的非分片集合转换成分片集合时注意事项以及遇到的问题.否则转换后造成业务不可用且转换是不可逆都操作,此动作发生时,需要在测试环境中应用经过完整的测试后可在生产环境上线,转换动作就是索引+shardCollection 2个组合动作即可(非常简单),如何把副本集转换成集群模式不在本次讨论范围内.

2022-08-23

2.4K0

MongoDB中创建与删除索引对业务的影响案例

mongodb 数据库 sql 云数据库 MongoDB 网站

首先祝大家节日快乐, 利用放假时间把之前的案例整理下,希望对大家有帮助,如有疑问可以留言区或者私信沟通。

2022-08-23

1.6K0

Oracle 标量子查询优化案例

本文分析基于11.2.0.4版本，通过整个问题的分析和解决过程，希望能够大家对大结果集下标量子查询的存在的性能问题以及为如何、为什么改写有所帮助，而不是说标量子查询一定不好，有时候可能需要改写为标量子查询，小结果集标量子查询FILTER执行计划优先NL(外层表存在重复多的情况).

2022-08-23

1.1K0

MongoDB 读写分离异常案例分析

mongodb 云数据库 MongoDB sql 数据库

双11当天临近下班时间点,研发反馈出现应用定时JOB跑批任务卡死，导致数据没有及时计算出来，影响一次报表数据展示,这个功能跑了几个月基本上没有异常，双11业务增长几倍，数据量稍微有点大。主要包括如下内容:

2022-08-23

6120

MongoDB 如何查看文档的大小

官方文档 mongodb 编程算法

如何查看文档的大小？常见是查看集合中平均文档大小，但很少查看单个文档或者特定范围文档的大小甚至查看文档中字段长度大小？通过查看官方文档来解答如上问题,默认返回都是字节为单位(byte),以下整理自官方文档以及jira.

2022-08-23

3.7K0

MongoDB RangeDeleter waiting for open cursors

I SHARDING [RangeDeleter] waiting for open cursors before removing range [{_id: -8961469181018981374 }, { _id: -8961075440282168396 }) in test.expInfos, elapsed secs: 19048578, cursor ids: [100968947595]

2022-08-23

3770

oracle中谓词带OR语句优化

根据研发提供的慢SQL,分析Oracle AWR中SQL，并没有发现相同的SQL.发现类似SQL,只是谓词条件不一样，咨询研发得知，前端根据登录人的角色不同，SQL写法也会变化，通常优化28原则，虽然这个功能用的少，但影响用户体验。

2022-08-23

1K0

MongoDB索引顺序导致慢SQL分析过程

最近监控MongoDB集群的慢日志,发现存在一个查询需要4s左右，返回结果集大部分情况下都为0(相当于SQL空跑),与研发沟通交流后，这个定时将检查已审核账单数据推送到ES中(双11时直接关闭这个功能,说明这个功能消耗资源)

2022-08-23

8120

Mongodb多键索引之嵌套文档

编程算法 sql

接上上一篇文档 Mongodb多键索引之数组,本次继续多键索引,到目前为止还没有分析业务中具体使用方式以及需求,只知道需要使用多键索引来满足不同查询,通过一个多键索引来解决不同谓词过滤,具体能否实现以及到底使用数组、嵌套文档还是数组文档方式？目前都是未知数,所以通过学习官方资料以及实际验证来解决如上2个问题.【能不能以及怎么做问题】，同时引出关键问题性能问题,选择一个能做方式满足业务需求,到底性能如何？

2020-08-25

3K0

Mongodb多键索引之数组文档

编程算法云数据库 SQL Server sql mongodb 数据库

接上2篇文档关于多键索引内容,接着学习数组文档,主要实验来验证如何进行高效数据查询,通过对比方式来验证3种多键索引优缺点以及适合场景,具体链接如下:

2020-08-25

3.3K0

Mongodb多键索引之数组

最近有项目需求用到多键索引,Mongodb中字段值支持多键索引主要包括嵌套文档、数组以及数组嵌套文档.例如联系包括手机、固定电话、邮箱、微信、QQ等，对于字段值存储类型不一样，决定创建多键索引也不一样同时性能也存在差异,例如数组值(包括数组以及数组文档)，创建多键索引时会为数组中每个元素都创建索引键,如数组中元素特别多，相应索引也会特别大,创建多键索引或者组合索引时最多只支持一个数组值.

2020-08-18

1.8K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态