导语 随着版本升级，关系型数据库和缓存数据库整体性能比之前都有大幅度的提升，衡量数据库性能的三个重要指标是：数据库吞吐量(QPS)、延迟时长(Latency)和稳定性，以下从这三个方面对几种数据库进行
一款面向研发人员查看的MongoDB图形可视化监控工具，借鉴了Percona PMM Grafana以及官方自带的mongostat工具输出的监控指标项，去掉了一些不必要看不懂的监控项，目前采集了数据库连接数、QPS/TPS、内存使用率统计，副本集replset状态信息和同步复制延迟时长。
随着国内服务共享化的热潮普及，共享单车，共享雨伞，共享充电宝等各种服务如雨后春笋，随之而来的LBS服务定位问题成为了后端服务的一个挑战。MongoDB对LBS查询的支持较为友好，也是各大LBS服务商的首选数据库。 腾讯云MongoDB团队在运营中发现，原生MongoDB在LBS服务场景下有较大的性能瓶颈，经腾讯云优化后，云MongoDB在LBS服务的综合性能上，有10倍以上的提升。 腾讯云MongoDB提供的优异综合性能，为国内各大LBS服务商，例如摩拜单车等，提供了强有力的保障。 LBS业务特点 以共享
MongoDB内核代码中提供有完善的gotool工具，这些开源工具作用主要有：数据导出及恢复(mongodump、mongorestore、mongoexport、mongoimport)工具、客户端shell链接工具(mongo)、IO测试工具(mongoperf)、流量qps/时延等监控统计工具(mongostat、mongotop)。
本文主要分享腾讯智慧零售团队优码业务在MongoDB中的应用，采用腾讯云MongoDB作为主存储服务给业务带来了较大收益，主要包括：高性能、快捷的DDL操作、低存储成本、超大存储容量等收益，极大的降低了业务存储成本，并提高了业务迭代开发效率。 一、业务场景 腾讯优码从连接消费者到连接渠道终端，实现以货的数字化为基础的企业数字化升级，包含营销能力升级和动销能力升级。腾讯优码由正品通、门店通和会员通三个子产品组成。 更多信息可以访问腾讯优码官方网站获得： https://uma.qq.com/ 腾讯优码整体
文章出处： 鹅厂架构师 导读 腾讯 MongoDB 百万库场景下的性能优化成果汇报 腾讯 MongoDB目前广泛应用于游戏、电商、ugc、物联网等场景，很多客户在使用过程中库表数量会大量增长，甚至达到百万级别，导致性能急剧下降，严重影响客户业务。腾讯数据库研发中心CMongo团队在进行深入性能分析之后，改造底层引擎为共享表空间架构，新架构在百万级库表的场景下，相比原生版本读写性能提升 1-2 个数量级，内存消耗显著降低，启动时间从原先小时级缩短到一分钟内。 探索之路正式开始，文章很长但干货满满，建议收藏品
转载自 https://blog.csdn.net/cleble/article/details/78325527
最近用go语言重构之前用python草草搭建的推荐引擎，语言杂食确实很难受，不过不得不说，在饱受弱类型脚本语言的摧残之后重新用回强类型语言，轻微强迫症的我居然还有些开心？（终于摆脱没完没了的type assertion啦）
某核心JAVA长连接服务使用MongoDB作为主要存储，客户端数百台机器连接同一MongoDB集群，短期内出现多次性能抖动问题，此外，还出现一次“雪崩”故障，同时流量瞬间跌零，无法自动恢复。本文分析这两次故障的根本原因，包括客户端配置使用不合理、MongoDB内核链接认证不合理、代理配置不全等一系列问题，最终经过多方努力确定问题根源。
腾讯云MongoDB数据库，稳定、弹性、安全、高性能的文档型数据库，兼容 DynamoDB 协议，满足您多样的业务需求
QPS ：Queries Per Second 从字面意思就可以理解：是每秒查询率 ,是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准, 即每秒的响应请求数，也即是最大吞吐能力。
前段时间笔者的客户遇到了一个主从延迟导致的业务故障，故障的原因本来是较为简单易查的，但是由于客户环境的安全、保密性要求，监控和指标只能间接获知，信息比较片段化与迟缓。
导语 我们发现腾讯云上一些腾讯云MongoDB实例在主库写压力比较大的情况下，这时从库上会出现很多慢查询，经过调查发现，从库在回放oplog的时候加了全局锁，阻塞了所有的读直到回放结束。经过我们的优化
优化服务器之前, 需要先对问题的规模做合理的预估, 然后对关键的数据做采样, 做对比, 看和自己的预估是否一致, 误差大在什么地方, 是预估的不对, 还是系统实现有问题.
Tech 导读 VOP作为京东企业业务对外的API对接采购供应链解决方案平台，一直致力于从企业采购数字化领域出发，发挥京东数智化供应链能力，通过产业链上下游耦合与链接，有效助力企业客户的成本优化与资产效能提升。本文将介绍VOP如何通过亿级消息仓库系统来保障上千家企业KA客户与京东的数据交互。
不同的Nosql，其实应用的场景各有不同，所以我们应该先了解不同Nosql之间的差别，然后分析什么才是最适合我使用的Nosql。 Nosql介绍 Nosql的全称是Not Only Sql，这个概念早起就有人提出，在09年的时候比较火。Nosql指的是非关系型数据库，而我们常用的都是关系型数据库。就像我们常用的mysql，sqlserver一样，这些数据库一般用来存储重要信息，应对普通的业务是没有问题的。但是，随着互联网的高速发展，传统的关系型数据库在应付超大规模，超大流量以及高并发的时候力不从心。而就在这
本篇文章主要介绍Nosql的一些东西，以及Nosql中比较火的三个数据库Redis、Memcache、MongoDB特点、区别以及应用场景。
Nosql介绍 Nosql的全称是Not Only Sql，这个概念早起就有人提出，在09年的时候比较火。Nosql指的是非关系型数据库，而我们常用的都是关系型数据库。就像我们常用的mysql，ora
压测过程中我们会发现各种各样的瓶颈，有时候数据单一也可能导致QPS上不去，这时我们需要准备批量测试数据来进行多样性压测。
腾讯云已为多个爆款微信小游戏提供服务，腾讯云数据库团队在多年MongoDB运营&支持微信小游戏服务经验总结，MongoDB产品经理李晓慧在7月26日在厦门举行的《腾讯云GAME-TECH游戏开发者技术沙龙》上，为广大开发者分享了腾讯云MongoDB在小游戏中的实践应用，帮助刚刚走进小游戏开发的同学们提供干货。
摘要: 原创出处 http://www.mongoing.com/archives/3609 「张友东」欢迎转载，保留摘要，谢谢！ 月初在云栖社区上发起了一个 MongoDB 使用场景及运维管理问题交
牛年跳槽季，惨遭开门黑，谨以此文纪念笔者的首次腾讯面试经历。经老师，微软MVP大佬推荐，有幸拿到了腾讯.NET Core高开面试机会，二面却挂在一个最常见的问题上，“你上家公司电商平台的TPS、QPS是多少，怎么应对增长的？”，一是当时脑子短路，几个词都混淆了，二是日常项目的几个数据确实没有关心，一问就傻了。这不回来了就去整理了一波相关知识，这会儿也给大家分享下！
腾讯云数据库又搞大事了！ 这次，我们和MongoDB联名了，准确说，是腾讯云数据库和全球领先的现代通用型数据库平台MongoDB正式达成了战略合作。 MongoDB是什么？ 全球最受欢迎的文档数据库……连续4年被Stack Overflow评为“最受开发人员青睐的数据库”……拥有庞大的开发者群体和优秀的技术能力的数据库……在不断演进升级中创造出了一系列产品能力的数据库…… 根据双方协议，腾讯云即日起将为全球用户提供授权的MongoDB服务，双方将在产品和技术层面加强合作，深入游戏、电商、社交媒体等行业数据
卡思数据是国内领先的视频全网数据开放平台，依托领先的数据挖掘与分析能力，为视频内容创作者在节目创作和用户运营方面提供数据支持，为广告主的广告投放提供数据参考和效果监测，为内容投资提供全面客观的价值评估。
根据 CAP 理论的一致性（Consistency）问题，即在读写发生在不同节点的情况下，怎么保证每次读取都能获取到最新写入的数据。这个一致性即是我们今天要讨论的MongoDB 可调一致性模型中的一致性，区别于单机数据库系统中经常提到的 ACID 理论中的一致性。
在企业上云逐渐加速的背景下，云数据库作为企业重要的IT基础设施，其重要性毋庸置疑。各大云计算厂商不惜重金，纷纷在产品和技术层面加大布局，争夺这一重要的云服务市场。纵观国内前几大云服务商过去一年的云数据库领域的发展，腾讯云基于自身强大的业务支撑以及技术研发实力，在云数据库市场的突破格外引人注目。
摘要 讯联数据高级软件工程师马艳云分享了基于Go的MongoDB实时同步工具Magisync及 Docker化实践。 Magisync是什么 Magisync是用Go语言开发的MongoDB到Mong
大家在大数据开发的学习中，肯定会遇到各种各样的数据库，比如MySQL，但是它是全能的吗？当然不是。所以才会出现各种各样的数据库，以适用于不同的场景，今天介绍的MongoDB就是如此。
vivo评论中台通过提供评论发表、点赞、举报、自定义评论排序等通用能力，帮助前台业务快速搭建评论功能并提供评论运营能力，避免了前台业务的重复建设和数据孤岛问题。目前已有vivo短视频、vivo浏览器、负一屏、vivo商城等10+业务接入。这些业务的流量大小和波动范围不同，如何保障各前台业务的高可用，避免因为某个业务的流量暴增导致其他业务的不可用？所有业务的评论数据都交由中台存储，他们的数据量大小不同、db压力不同，作为中台，应该如何隔离各个业务的数据，保障整个中台系统的高可用？
全民K歌作为腾讯音乐集团四大产品线之一，月活超过1.5亿，并不断推出新的音娱功能及新玩法，极大丰富了数亿用户的音乐娱乐活动。 MongoDB天然支持高可用、分布式、高性能、高压缩、schema free、完善的客户端访问均衡策略等功能。作为腾讯音乐集体核心部门，K歌Feed等业务采用腾讯云MongoDB作为主存储服务，极大的方便了K歌业务的快速迭代开发。 本文主要分享K歌技术演进过程中的一些踩坑过程、方案设计、性能优化等，主要包括以下技术点： 全民K歌业务特性 Feed业务读写选型 Feed数据吐出控制策
导语 | 腾讯云MongoDB当前服务于游戏、电商、社交、教育、新闻资讯、金融、物联网、软件服务等多个行业；MongoDB团队(简称CMongo)致力于对开源MongoDB内核进行深度研究及持续性优化(如百万库表、物理备份、免密、审计等)，为用户提供高性能、低成本、高可用性的安全数据库存储服务。后续持续分享MongoDB在腾讯内部及外部的典型应用场景、踩坑案例、性能优化、内核模块化分析。 引言 全民K歌作为腾讯音乐集团四大产品线之一，月活超过1.5亿，并不断推出新的音娱功能及新玩法，极大丰富了数亿用户
高性能、易部署、易使用，存储数据非常方便。主要功能特性有： 面向集合存储，易存储对象类型的数据。 模式自由。 支持动态查询。 支持完全索引，包含内部对象。 支持查询。 支持复制和故障恢复。 使用高效的二进制数据存储，包括大型对象(如视频等)。 自动处理碎片，以支持云计算层次的扩展性 支持Python，PHP，Ruby，Java，C，C#，Javascript，Perl及C++语言的驱动程序，社区中也提供了对Erlang及.NET等平台的驱动程序。 文件存储格式为BSON(一种JSON的扩展)。 可通过网络访问。 功能:
技术选型是由技术方向和业务场景 trade-off 决定的，脱离业务场景来说技术选型是没有任何意义的，所以本文只是阐述了伴鱼技术团队数据库选型的过程，这并不是 MySQL、MongoDB 和 TiDB 之间直接的比较，只能说明 TiDB 更适合伴鱼的业务场景和技术规划，另外由于 TiDB 是非常新的数据库技术，所以这也能体现出伴鱼技术团队对新技术的态度、技术后发优势的理解、成本与效率的衡权和技术生态与红利的思考。
>>Redis Redis的优点： 支持多种数据结构，如 string（字符串）、 list(双向链表)、dict(hash表)、set(集合）、zset(排序set)、hyperloglog（基数估算） 支持持久化操作，可以进行aof及rdb数据持久化到磁盘，从而进行数据备份或数据恢复等操作，较好的防止数据丢失的手段。 支持通过Replication进行数据复制，通过master-slave机制，可以实时进行数据的同步复制，支持多级复制和增量复制，master-slave机制是Redis进行HA的重要手段。 单线程请求，所有命令串行执行，并发情况下不需要考虑数据一致性问题。 支持pub/sub消息订阅机制，可以用来进行消息订阅与通知。 支持简单的事务需求，但业界使用场景很少，并不成熟。
把所有需要的东西聚集在一起，审视问题。不停的提问，以至于我们可以明确使用场景和约束。讨论假设。（这也就是需求分析其中的一步）
现在越来越多的开发人员使用Mac电脑，Mac平台的MySQL管理工具不多，并且很多是收费的，现在有一款基于web的TreeSoft数据库管理系统，可以直接使用浏览器管理及监控MySQL，Oracle，PostgreSQL , SQL Server, MongoDB，Redis,memcached。直接在服务器布署一套，其他电脑通过浏览器通过网络远程管理及监控数据库，十分方便。
小红书使用 TiDB 历史可以追溯到 2017 年甚至更早，那时在物流、仓库等对新技术比较感兴趣的场景下应用，在 2018 年 5 月之后，我们就开始逐步铺开，延展到其他适合 TiDB 的场景中去。截止目前，小红书使用的 TiDB 节点数在 200+ 个，未来也有更大扩展空间。
但之后仍有问题待解决： 比如朋友圈关系的数据量达到千亿，即使分成1024个库表，单表数据量也达到亿级，且关系数据量还在极速增加，即使你分成再多库表，数据量也会很快到达瓶颈。 传统DB难以彻底解决该问题，因为扩展性很弱。这时，就可以利用NoSQL，天生分布式，能提供优秀的读写性能，补充了传统关系型数据库短板。那么它是如何做到的呢？ NoSQL，不同于传统关系型数据库的其他数据库系统的统称，不使用SQL作为查询语言，提供优秀的横向扩展能力和读写性能，非常契合互联网项目高并发大数据的特点。 Redis、LevelDB这样的KV存储，相比于传统DB，有极高读写性能，对性能有比较高的要求的场景都会使用。
上个礼拜，我搭建了一个mongo分片集群，发现分布式系统保证高可用和高性能的套路都差不多。高性能就是做分片（可以类比为分库分表，将数据分到不同服务器上），在Kafka中叫分区，在mongodb中叫shard，在HDFS上叫DataNode。而保证高可用的方式就是做交叉备份。然后我很好奇Redis是怎么部署的。
作者：北丐。 MongoDB中文社区联席主席，针对MongoDB，MySQL，Redis集群，Oracle，TiDB；有丰富的实践经验和企业级授课经验。
咱们工作或者学习的过程中，接到一个需求，或者学习一个技能的时候，我们是如何去学习的呢？
应网友要求，写一写连接池实现细节。 一、如何通过连接访问下游 工程架构中有很多访问下游的需求，下游包括但不限于服务/数据库/缓存，其通讯步骤是为： （1）与下游建立一个连接 （2）通过这个连接，收发请求 （3）交互结束，关闭连接，释放资源 这个连接是什么呢，通过连接怎么调用下游接口？服务/数据库/缓存，官方会提供不同语言的Driver、Document、DemoCode来教使用方建立连接与调用接口，以MongoDB的C++官方Driver API为例（伪代码）： DBClientConnection* c
现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。
Mongod 进程启动后，除了跟普通进程一样，加载 binary、依赖的各种library 到内存，其作为一个DBMS，还需要负责客户端连接管理，请求处理，数据库元数据、存储引擎等很多工作，这些工作都涉及内存的分配与释放，默认情况下，MongoDB 使用 Google tcmalloc 作为内存分配器，内存占用的大头主要是「存储引擎」与 「客户端连接及请求的处理」。
传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。 解释：“三高”需求：
缓存，已经是现在系统中必不可少的内容，如何使用好缓存，对系统的性能和效率至关重要，这里我就来分析一下使用缓存的正确姿势吧。
如何快速入门数据库？以我个人经验来看，数据库功能和性能测试是一条不错的捷径。当然从公司层面，数据库测试还有更多实用的功能。这方面，美团点评使用的是知名工具sysbench，主要是用来解决以下几个问题： 统一测试方法，以便测试结果的可重复和可对比。 结合美团点评的业务特点和硬件特性，得到最优的参数配置。 扩展sysbench的测试能力，比如增加对JSON测试的支持。 数据库测试虽然入门简单，但是却能在测试中获得对数据库、操作系统等的感性认识，为日后深入的研究数据库和性能调优打下很好的基础。如果你不满足于仅仅使
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
