MongoDB是一个基于分布式文件存储的数据库，其目的在于为WEB应用提供可扩展的高性能数据存储解决方案。下面将以3台机器介绍最常见的集群方案。具体介绍，可以查看官网 https://docs.mongodb.com/v3.4/introduction/。
在过去的 10 个月里，我很高兴与个性化和相关性团队合作。我们负责根据排名和机器学习向用户提供“个性化和相关的内容”。我们通过一组提供三个公共端点的微服务来做到这一点，即 Home Feed、Search 和 Related items API。我记得加入团队几个月后，下一个挑战是能够为更大的关键国家提供优质服务。目标是保持我们在较小国家/地区已经拥有的完美性能和稳定性。
本篇文章会向读者展示几个架构设计的关键点，使一个社交应用能够成为真正的下一代社交产品。以下几个属性将会影响到架构的设计： a）可用性 b）可扩展性 c）性能和灵活性可扩展 目标 a）确保用户的内容数据能够很方便的被其他用户发现和获取. b）确保内容推送是相关的，不仅在语义上，也是从用户设备的角度。 c）确保实时更新生成、推送和分析。 d）尽可能地节省用户的资源。 e）不论服务器负载变化如何，用户体验应保持不变。 f）确保应用整体上是安全的 总之，我们要处理一个相当大的挑战，我们必须处理不断扩大的海量用户
最近在做搜索推荐相关的优化，在对elasticsearch进行优化时查阅了比较多的资料，现在对其中的一部分进行整理和翻译，做一个记录。主要分为三个部分：
传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：
导语｜近年来，Redis 变得越来越流行。Redis 持久化、主从复制、哨兵、分片集群是开发者常遇到的、看似容易理解的概念。它们存在什么联系？Redis 为什么会演化出几种架构模式？腾讯云后台开发工程师谭帅将带你一步步构建出稳定、高性能的 Redis 集群。了解 Redis 做了哪些方案来实现稳定与高性能之后，你在日常使用 Redis 时，能够更加游刃有余。
作者：hazenweng，腾讯 QQ 音乐后台开发工程师 MongoDB 作为一款优秀的基于分布式文件存储的 NoSQL 数据库，在业界有着广泛的应用。下文对 MongoDB 的一些基础概念进行简单介绍。 1 MongoDB 特点 面向集合存储：MongoDB 是面向集合的，数据以 collection 分组存储。每个 collection 在数据库中都有唯一的名称。 模式自由：集合的概念类似 MySQL 里的表，但它不需要定义任何模式。 结构松散：对于存储在数据库中的文档，不需要设置相同的字段，并且
线上某MongoDB集群存储影响公司收入流水的核心数据，本文分享该集群为何多个索引串行后台会引起集群抖动，并且部分节点出现了连接数耗光等问题。同时通过本案例，给出时延敏感业务该最优方式添加索引，做到对业务最小化影响或者无影响。
杨亚洲，前滴滴出行专家工程师，现任OPPO文档数据库mongodb负责人，负责数万亿级数据量文档数据库mongodb内核研发、性能优化及运维工作，一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研发。
导语： 在面试过程中，面试官可能会问到关于Redis缓存的一系列问题。本文将深入探讨Redis缓存相关面试题，并为你提供详细的解答，帮助你在面试中游刃有余。
Vitess，作为海外最为知名的分库分表产品，一直以来在国内声音不多。近期抽空了解下这个产品，特分享出来。本文部分内容取自Vitess官网https://vitess.io。
String，Map，List，Set，Zset Redis的工作线程始终只有一个(单线程)
在 Elasticsearch 的实战中，悬挂索引是一个既常见又容易引起困扰的概念。
最后多说一句，BLE通信技术的核心是低功耗，在电池技术迟迟不能突破的大背景下，iOS系统的基础也是以前台为王，后台的策略都是克制，广大安卓定制系统也都遵循这个套路，App的后台变成应用厂商和系统厂商之间的博弈。作为app开发，我觉得可以从业务上重新思考下产品形态，后台虽好，也不宜贪杯
简介 Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎数据库进行非阻塞的备份，其具备以下一些优点： 1）备份速度快，物理备份可靠
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。
Redis 作为一个网络存储服务，需要独立部署，业务侧通过网络访问，这样业务服务和数据存储可以解耦。Redis是一个单线程的网络IO模型，如何做到高性能呢？ 后面会详细解释。
本文从 Redis 基本特性入手，通过讲述 Redis 的数据结构和主要命令对 Redis 的基本能力进行直观介绍。之后概览 Redis 提供的高级能力，并在部署、维护、性能调优等多个方面深入介绍和指导。
先来简单了解下redis中提供的集群策略, 虽然redis有持久化功能能够保障redis服务器宕机也能恢复并且只有少量的数据损失，但是由于所有数据在一台服务器上，如果这台服务器出现硬盘故障，那就算是有备份也仍然不可避免数据丢失的问题。 在实际生产环境中，我们不可能只使用一台redis服务器作为我们的缓存服务器，必须要多台实现集群，避免出现单点故障；
NoSQL，指的是非关系型的数据库。NoSQL 有时也称作 Not Only SQL（意即"不仅仅是SQL"） 的缩写，其显著特点是不使用SQL作为查询语言，数据存储不需要特定的表格模式。
在个人项目中运行 MySQL，甚至在年轻公司中运行 MySQL，与在市��已经建立并且“呈现指数增长”业务中运行 MySQL 大不相同。在高速业务环境中，流量可能每年增长数倍，环境变得更加复杂，伴随的数据需求迅速增加。扩展 MySQL 与其他类型的服务器大不相同，主要是因为数据的有状态性质。将其与 Web 服务器进行比较，后者的广泛接受的模型是在负载均衡器后面添加更多服务器通常是您需要做的全部。
第 11章 规模化微服务 11. 1 故障无处不在 我们知道事情可能会出错，硬盘可能会损坏，软件可能会崩溃。任何读过“分布式计算的故障”（ https:// en. wikipedia. org/ wiki/ Fallacies_ of_ Distributed_ Computing）的人都会告诉你，网络也是不可靠的 许多组织使用流程和控制来试图阻止故障的发生，但实际上很少花费心思想想如何更加容易地在第一时间从故障中恢复过来 许多年前，我在谷歌园区待过一段时间，当时看到过一个拥抱故障想法的例子。在山景城
日常我们开发时，我们会遇到各种各样的奇奇怪怪的问题（踩坑o(╯□╰)o），这个常见问题系列就是我日常遇到的一些问题的记录文章系列，这里整理汇总后分享给大家，让其还在深坑中的小伙伴有绳索能爬出来。 同时在这里也欢迎大家把自己遇到的问题留言或私信给我，我看看其能否给大家解决。
Ambry包含负责保存和检索数据的数据节点（data node），前端节点（Frontend node）将请求经过预处理发送到后端数据节点，并且集群管理者（Cluster manager）管理并协调数据节点上的数据。数据节点之间互相复制数据，并且可以跨机房复制，并需要保证写之后读的一致性。前端提供HTTP API，包括POST，GET和DELETE对象。同样的，这个路由库可以直接被客户端调用以提升性能。在LinkedIn，这些前端节点扮演着CDN的角色。 Ambry是一个偏向于处理的存储。这意味着当一个对象放入Ambry时，这个对象的ID被返回。这简化了系统设计并促使系统去中心化。客户端可以通过这个ID访问对应对象，这也意味着Ambry内的对象是不可变的。基于Ambry建立一个键值对访问并且支持对象可变的系统非常繁琐。
在使用数据库时，表的主键经常会使用数据库的自增（auto_increment）来产生。这当然很方便也很高效。但是使用自增也会带来一些麻烦。如果从一个数据库以外的地方，也就是发号器来产生全局唯一 ID，这些问题就可以得到解决，生活就可以更美好。
我们知道，持续查询的驱动引擎StreamExecution 会持续不断地驱动每个批次的执行。
到本文结尾，你应该对关键指标有一个很好的了解，以便在你遇到Elasticsearch集群的性能或操作问题时进行监视。
Vitess是用于部署，扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有云架构中运行。它结合了NoSQL数据库的可伸缩性，并扩展了许多重要的MySQL功能。Vitess可以帮助您解决以下问题:
编辑手记：Evernote在短暂的时间里完成了向云端的迁移，其战果可喜可贺，然而每一次成功，都是背后的默默的努力和付出支撑起来的。在迁移的过程中，面对网络、硬件、软件、用户各方面的问题，Evernote是如何处理，并设计新的架构的，我们一起来学习。 注：本文来自Evernote官方文档翻译，若有不对的地方请参考原文。 系列文章回顾： 1、用户零感知到达云端: Evernote顺利完成向 Google 云平台的迁移 2、云端迁移 - Evernote服务迁移到Google云端平台（GCP）的方法论 系统架构
以下是我们的Core Elasticsearch：Operations课程中的一些很棒的幻灯片，它们有助于解释分片分配的概念。 我们建议您更全面地了解这一点，但我会在此提供我们培训的概述：
【引子】周末阅读时光，一篇好的论文（https://cacm.acm.org/magazines/2023/6/273229-foundationdb-a-distributed-key-value-store/fulltext），开阔了眼界，支持事务语义的NoSQL应该放到软件系统架构备选方案之中。
Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，通俗的来讲就是基于内存的高性能K/V数据库。 Redis 作为一个key—value储存系统。支持储存的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希散列）。
在Elasticsearch中，健康的群集是一个平衡的群集：主分片和副本分布在所有节点上，以保证有节点故障时的持久可靠性。
MongoDB是一种可水平扩展的文档数据库，通过分片来实现水平扩展。分片是将数据库分成多个部分的过程，每个部分都被称为一个分片（shard），这些分片可以存储在不同的服务器上。
在系统中某些选项是几个特定的值的一个或多个，并且随着还可以动态添加。比如支付方式，配送方式等。
Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高整体性能和可靠性。在Redis中提供集群方案总共有三种：主从复制、哨兵模式、Redis分片集群。这些都是目前主流经典的集群模式，redis做集群的好处：
MongoDB Manual (Version 4.2）> Administration
前端服务器提供了HTTP端口进行访问。它们也负责设置正确的CDN头，安全验证（反病毒，异常内容检测）和序列化对象发送给路由库和客户端。 路由库包括请求管理逻辑的核心并且镶嵌在前端中。同样地，他也可以作为客户端独立库来提高性能。
Redis单节点存在一些局限性，特别是在处理大规模数据、高并发请求和提供高可用性方面。以下是一些常见的Redis单节点的局限性：
之前我们生产 ES 集群因为数据分片过大，导致集群重启无法选举，具体可以看这篇文章。当系统分片数据量越来越大，给生产集群造成一定压力，同时也会影响数据检索和查询效率。为了减轻集群压力，缩小集群分片数，减少集群故障，需要考虑数据归档方案，将查询频率低的数据从集群中归档到一个集中区域。
Redis是一个流行的高性能内存数据存储系统，常用于缓存、消息队列和实时数据分析等领域。然而，随着数据量的增长和高可用性需求的增加，单个Redis实例往往无法满足要求，这时就需要使用Redis集群来横向扩展。
目前，对于互联网海量数据的存储以及处理，按使用场景，分为OLTP（联机事务处理，比如即时交易，强调快速响应与处理）与OLAP（联机分析处理，比如BI，强调多维数据分析）。对于这些数据的存储，主要有两种解决方案，即基于SQL的关系型数据库，和NoSQL的非关系型数据库。 非关系型数据库在某些特定场景下有奇效，比如键值存储（redis,ROMA,Memcached）数据库应用在排行更新，会话保存，面向文档的数据库（mongoDB、couchDB）应用在日志记录，面向列的数据库（Cassandra、HBase）在博客中的应用。关系型数据库最大的问题在于速度与可扩展性上，而这些NoSQL数据库一般部署简单，支持扩展，而且速度极高。 但是，NoSQL目前还是只能做为关系型数据库在某些特定应用场景的补充，不能完全替代严谨规范的关系型数据库。
Redis 现在应该是各大厂标配了，不过可能很多人只懂得怎么用，但对其原理不甚了解，今天我们就用图解的形式来深入了解 Redis 高性能，高可用的秘密
快照模块是ES备份、迁移数据的重要手段。它支持增量备份，支持多种类型的仓库存储。本章我们先来看看如何使用快照，以及它的一些细节特性，然后分析创建、删除及取消快照的实现原理。
用于指导使用腾讯云的PaaS组件和常用开源组件进行业务开发的服务的部署实施环节和后续生产环境运维。文档摘取了腾讯云的官网文档中运维需要关注的技术指标，应用于初创团队快速对应用开发组件有一个快速了解。
3万+长文揭秘一线大厂Redis面试高频考点，整理不易，求一键三连：点赞、分享、收藏
声明：本文是较早的一篇关于Elasticsearch性能指标监控的博文，内容总结全面，作者 Emily Chang，原文地址：https://www.datadoghq.com/blog/monitor-elasticsearch-performance-metrics，由杨文波同学翻译。
全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 Elastic）是目前全文搜索引擎的首选。
0、引言 本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。 Elasticsearch是一个非常通用的平台，支持各种各样的用例，并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。虽然不一定会在首次启动时出现问题，但由于数据量随时间的推移，可能会导致性能问题。集群所拥有的数据越多，纠正
场景描述：本文是较早的一篇关于Elasticsearch性能指标监控的博文，内容总结全面，作者 Emily Chang，原文地址：https://www.datadoghq.com/blog/monitor-elasticsearch-performance-metrics，由杨文波同学翻译。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
