学习目标 批量查询 bulk批量插入，更新，删除 bulk格式揭秘 document路由原理 读请求路由原理 quorum机制 multi-index和multi-type搜索模式 分页/深度分页性能 query string基础语法 exact value和full text对比 本文讲解的可参考 批量查询 mget很重要用于批量查询可以减少网络的请求次数，减少网络开销，提高性能。 // GET /_mget { "docs" : [ { "_index" : "test_index1",
主要的基础概念有: Index,Type,Document,Field,shard和replicas.
" 在前面已经介绍了 ES 中常用的一些名词，知道了数据是存储在 shard 中的，而 index 会映射一个或者多个 shard 。那这时候我要存储一条数据到某个索引下，这条数据是在哪个 index 下的呢？ "
shard：每个分片是分片数据的子集。从MongoDB 3.6开始，必须将分片部署为副本集。
MongoDB目前3大核心优势：『灵活模式』+ 『高可用性』 + 『可扩展性』，通过json文档来实现灵活模式，通过复制集来保证高可用，通过Sharded cluster来保证可扩展性。
面试指南系列，很多情况下不会去深挖细节，是小六六以被面试者的角色去回顾知识的一种方式，所以我默认大部分的东西，作为面试官的你，肯定是懂的。
Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎，每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。
让我们从启动流程开始，先在宏观上看看整个集群是如何启动的，集群状态如何从Red变成Green，不涉及代码，然后分析其他模块的流程。
3）NODE-1使用文档ID来确定文档属于分片0，通过集群状态中的内容路由表信息获知分片0的主分片位于NODE3，因此请求被转发到NODE3上
在MongoDB中，balancer(平衡器)是一个后台进程，它监控每个shard上的chunk数量，一旦chunk的数量差异超过了阈值，balancer会自动迁移数据块，从而保证每个分片上chunk数量的相对平衡。
场景描述：Elasticsearch及相关产品，介绍基于ELK + Kafka 的日志分析系统，Elasticsearch优化经验，阿里云 Elasticsearch服务以及Elasticsearch 运维实践。
Elasticsearch（ES）可用于全文检索、日志分析、指标分析、APM等众多场景，而且搭建部署容易，后期弹性扩容、故障处理简单。ES在一定程度上实现了一套系统支持多个场景的希望，大幅度降低使用多套专用系统的运维成本（当然ES不是万能的，不能满足事务等场景）。正是因为其通用性和易用性，ES自2010年发布首个版本以来得到爆发式的发展，广泛应用于各类互联网公司的不同业务场景。
上文说到有赞搜索系统的架构演进，为了支撑不断演进的技术架构，除了 Elasticsearch 的维护优化之外，我们也开发了上层的中间件来应对不断提高的稳定性和性能要求。
1、mongodb分片的实质是将数据分散到不同的物理机器，以分散IO，提供并发与吞吐量 2、mongodb分片依赖于片键，即任意一个需要开启的集合都需要创建索引 3、开启分片的集合需要首先在DB级别启用库级分片 4、mongodb的分片由分片服务器，配置服务器以及路由服务器组成 5、基于分片可以结合副本集(replicate set)来实现高可用
本文主要分析allocation 模块的结构和原理，然后以集群启动过程为例分析 allocation 模块的工作过程
主从复制和副本集区别 主从集群和制本集最大的区别就是副本集没有固定的“主节点";整个集群会选出一个主节点当其挂掉后，又在剩下的从节点中选中其他节点为"主节点"。副本集总有一个活跃点(主primary和一 个或多个备份节点(从secondary)。
索引恢复(index.recovery)是ES数据恢复过程。待恢复的数据是客户端写入成功，但未执行刷盘(flush)的Lucene分段。例如，当节点异常重启时，写入磁盘的数据先到文件系统的缓冲，未必来得及刷盘，如果不通过某种方式将未刷盘的数据找回来，则会丢失一些数据，这是保持数据完整性的体现；另一方面，由于写入操作在多个分片副本上没有来得及全部执行，副分片需要同步成和主分片完全一致，这是数据副本一致性的体现。
之前的文章中，我们已经知道如何存储数据到索引中以及如何检索它。但是我们掩盖了数据存储到集群中以及从集群中获取数据的具体实现的技术细节。
火山引擎增长分析 DataFinder 基于 ClickHouse 来进行行为日志的分析，ClickHouse 的主要版本是基于社区版改进开发的字节内部版本。
框架比较 TDDL Amoeba Cobar MyCat 点评 TDDL不同于其它几款产品，并非独立的中间件，只能算作中间层，是以Jar包方式提供给应用调用。属于JDBC Shard的思想，网上也有
框架比较 TDDL 📷 Amoeba 📷 Cobar 📷 MyCat 📷 点评 TDDL不同于其它几款产品，并非独立的中间件，只能算作中间层，是以Jar包方式提供给应用调用。属于JDBC Shard的思想，网上也有很多其它类似产品。 另外，网上有关于TDDL的图，如http://www.tuicool.com/articles/nmeuu2 中的图 1-2 TDDL 所处领域模型定位，把TDDL画在JDBC下层了，这个是不对的，正确的位置是TDDL夹在业务层和JDBC中间 Amoeba是作为一个真正的独立中
elasticsearch集群的健康状态是通过监控和评估集群中的主分片和副本分片的分配情况来确定的。通过查看健康状态能够直观的获取出集群当前的运行状态，分片状态等信息。
mongod --dbpath=d://path/mongodb_ds/mongodb_config --port 1234
ES 发布时带有的默认值，可为 es 的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用，当你更清楚的知道你想如何使用 es 后，你可以作很多的优化以提高你的用例的性能，下面的内容告诉你 你应该/不应该 修改哪些配置。
本章分析ES写入单个和批量文档写请求的处理流程，仅限于ES内部实现，并不涉及Lucene内部处理。在ES中，写入单个文档的请求称为Index请求，批量写入的请求称为Bulk请求。写单个和多个文档使用相同的处理逻辑，请求被统一封装为BulkRequest。
ES集群的高可用可分为读高可用、写高可用与发生改变（集群状态改变）时高可用。其实这么说不是很准确，因为部分集群状态的改变会影响读和写的高可用。 读高可用指的是多个副本情况下，某个副本出问题时不影响整个系统的读。 写高可用指的是多个副本情况下，某个副本出问题时不影响整个系统的写，通过translog来确保数据不会丢失。 集群状态的改变的高可用包含自动处理节点的加入和离开，自动同步改变的集群状态，当集群发生故障时自动切换主副shard等等来保持集群的高可用。 读和写的高可用这里不再描述，下面将通过三个部
（https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-indexing-speed.html）
英文原文：https://www.elastic.co/guide/en/elasticsearch/reference/current/how-to.html
ES发布时带有的默认值，可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想如何使用es后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置。
ES 发布时带有的默认值，可为 ES 的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用，当你更清楚的知道你想如何使用 ES 后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置。
点击关注公众号，Java干货及时送达 ES官方调优指南 第一部分：调优索引速度 第二部分：调优搜索速度 第三部分：通用的一些建议 ES发布时带有的默认值，可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想如何使用es后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置。 第一部分：调优索引速度 https://www.elastic.co/guide/en/elasticsearch/reference/
在实际应用中，如何最大限度地发挥ES的写入能力并保证数据的一致性和可靠性仍然是一个值得关注的话题。
Elasticsearch（ES） 是一个基于 Apache Lucene 开源的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储，实时检索，高效分析的场景。通过简单易用的 RESTful API，隐藏 Lucene 的复杂性，让全文搜索变得简单。
ES发布时带有的默认值，可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想如何使用es后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置
分片分配 (shard allocation)，是指在索引创建、副本增减、节点增减、分片重平衡等过程将索引分片落实到实际的物理节点的操作，包括但不限于：
作者简介 许鹏，携程机票大数据基础平台Leader，负责平台的构建和运维。深度掌握各种大数据开源产品，如Spark、Presto及Elasticsearch。著有《Apache Spark源码剖析》一书。本文来自许鹏在〖DAMS 2017中国数据资产管理峰会〗上的分享，首发DBAplus社群（ID：dbaplus）。 现如今大数据一块有很多的开源项目，因此首先搭建平台的难点其实在于如何选择一个合适的技术来做整个平台的架构，第二，因为有业务数据，用了平台之后的话，如何用平台把数据分析出来让用户有很好的交互性的
早在以太坊启动之初，就已经规划了开发的四个阶段：边境（Frontier）、家园（Homestead）、大都会（Metropolis）和宁静（Serenity）。目前以太坊已经走过了前三个阶段。它开启了一个智能合约新时代，引领了区块链2.0时代。众所周知，以太坊的终局是走向“宁静”，也就是我们说的以太坊2.0（eth2.0）时代，但在“宁静”到来之前还将经历“伊斯坦布尔”，“以太坊1.X”两个阶段。以太坊2.0是一次脱胎换骨的大改变，是一次全面的修订和重新设计，是一场漫长的马拉松。那么“宁静”阶段（eth2.0）到底改变了什么呢？“宁静”的主要内容包括从PoW（工作量证明）到PoS（权益证明）的完全转变，“宁静”的所有升级将分为四个分阶段实现：
elasticsearch设计的理念就是分布式搜索引擎，底层实现还是基于Lucene的，核心思想是在多态机器上启动多个es进程实例，组成一个es集群。
【IT168 资讯】几十年来，关系型数据库已经成为企业应用程序的基础，自从MySQL在1995年发布以来，深受企业的偏爱。然而随着近年来数据量和数据的不断激增，非关系数据库技术如MongoDB应运而生
我们经常需要确定数据库当前正在执行的 SQL，CH 提供了一些系统表用于记录这些信息，具体用法如下：
以下是 ElasticSearch 面试题，相信大家都会有种及眼熟又陌生的感觉、看过可能在短暂的面试后又马上忘记了。**JavaPub**在这里整理这些容易忘记的重点知识及**解答**，建议收藏，经常温习查阅。
最近，Vitalik Buterin围绕以太坊2.0第2阶段提出了他的第一个公开提案[1]，紧接着又提出了一个简化提案[2]：
近期MongoDB在Hack News上是频繁中枪。许多人更是声称恨上了MongoDB，David mytton就在他的博客中揭露了MongoDB许多现存问题。然而恨的人有之偏爱的也同样很多，作为回击：Russell Smith带来了多年工作经验的总结。Russell Smith曾担任Ops和大型网站缩放顾问并且帮助过Guardian、Experian等多家公司，MongoDB London User Group的联合创始人。作为MongoDB Master（MongoDB官方认可的MongoDB核心贡献者
与关系型数据库相比，MongoDB的优点： ①弱一致性（最终一致），更能保证用户的访问速度： 举例来说，在 传统的关系型数据库中，一个COUNT类型的操作会锁定数据集，这样可以保证得到“当前”情况下的精确值。这在某些情况下，例如通过ATM查看账户信息的 时候很重要，但对于Wordnik来说，数据是不断更新和增长的，这种“精确”的保证几乎没有任何意义，反而会产生很大的延迟。他们需要的是一个“大约” 的数字以及更快的处理速度。 但某些情况下MongoDB会锁住数据库。如果此时正有数百个请求，则它们会堆积
许多年前，一个名叫Shay Banon的开发者，带着新婚妻子去伦敦生活，在得知妻子想从事厨师工作后，准备利用自己所学为妻子开发一个食谱搜索引擎，他开始使用Lucene的一个早期版本。但是尝试之后，他发现直接使用Lucene给没有任何开发经验的妻子而言是非常困难的，因此Shay 开始对Lucene进行封装。不久他发布了他的第一个基于Lucene的用java编写的开源项目 Compass。后来Shay找到了一份跟高性能和分布式有关的工作，然后发现这份工作对实时、分布式搜索引擎的需求尤为突出，于是他决定重写Compass，把它变为一个独立的服务并取名Elasticsearch，再到后来Elasticsearch发布了第一个公开版本，从此以后，Elasticsearch已经成为了 Github 上最活跃的开源项目之一。据说，Shay的妻子还在等着她的食谱搜索引擎，而他已经在大公司忙的“一发不可收拾”…
传统的将数据集中存储至单一数据节点的解决方案，在容量、性能、可用性和运维成本这三方面难于满足海量数据场景。在单库单表数据量超过一定容量水位的情况下，索引树层级增加，磁盘 IO 也很可能出现压力，会导致很多问题。
以下是 ElasticSearch 面试题，相信大家都会有种及眼熟又陌生的感觉、看过可能在短暂的面试后又马上忘记了。JavaPub在这里整理这些容易忘记的重点知识及解答，建议收藏，经常温习查阅。
nananananananananananana-300x187.jpg 分片标记是MongoDB 2.2.0版中的一项新功能。它应该强制写入到本地数据中心，但也可以用来将集合固定到一个分片或
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
