对大数据集或非常高吞吐量，仅复制还不够，还需将数据拆分成为分区（partitions），也称分片（sharding）1。
到时候想通过 $type 来指定某个数据类型的时候可以用序号，而不用敲完整的字符串
MongoDB的文档类似于JSON，JSON是一种简单的额表示数据的方式，仅包含6种数据类型，分别是：null、布尔、数字、字符串、数组和对象。
这里翻译一篇关于 mongodb 数据一致性的白皮书，这是一份有10页的文档。基于数据一致性的部分内容，在其他的传统数据库，缓存数据库都不存在，也是一个让传统DBA 想不明白的部分，所以进行翻译。
MongoDB的文档类似于JSON，JSON是一种简单的表示数据的方式，仅包含6种数据类型，分别是：null、布尔、数字、字符串、数组和对象。
Kafka作为大数据技术生态的重要组件，尤其是实时流数据处理场景下，作为分布式生产/消费系统，得到广泛的重用。而Kafka在数据生产和消费上，日志是主要的场景。今天的大数据开发学习分享，我们就来讲讲kafka日志结构的基础。
MongoDB 4.0 引入的事务功能，支持多文档ACID特性，例如使用 mongo shell 进行事务操作。
本文从分布式系统角度讨论了区块链中的几种创新模式：不可变模式、异步和共识以及网络容错可靠性。 不可变模式 区块链是不可变的。 分布式系统已经在相当一段时间内依靠不变性来消除异常。 比如日志结构的文件系统、日志结构的合并树和Copy-On-Write（写时复制）是分布式系统中用于模拟不可变数据结构的常见模式/技巧。 区块链以类似于事件溯源Event Sourcing的方式来处理事务，这是分布式计算中用于处理事实和操作的常用技术。 不是用最新数据覆盖旧数据，而是创建一个包含所有事件/行动的只能不断追加app
上一章节主要概述了MongoDB的优劣势、应用场景和发展史。这一章节将快速的概述一下MongoDB的基本概念，带领大家快速入门MongoDB这个文档型的NoSQL数据库。
MongoDB中的一些最新特性（如多文档ACID事务）需要对底层的WiredTiger存储引擎中进行基础性的增强。
事实上，所有的query基本也是这样一个流程，只是不同的命令会获得不同类型的cursor罢了。这里如果暂时不好理解的话，不妨把第一章内容浏览完再回过头来看看。
生命不止，继续go go go !!! 关于golang中操作数据库，曾经介绍了不少： Go实战–go语言操作sqlite数据库(The way to go) Go实战–go语言操作MySQL数据库
在MongoDB数据库中名字空间 <dbname>.system.* 是包含多种系统信息的特殊集合(Collection)，如下:
MongoDB的单个实例可以容纳多个独立的数据库，每一个都有自己的集合和权限，不同的数据库也放置在不同的文件中。
通常来说，数据系统在分布式系统中会有三级划分：数据集（如 Database、Bucket）——分片（Partition）——数据条目（Row、KV）。通常，每个分片只属于一个数据集，每个数据条目只属于一个分片。单个分片，就像一个小点的数据库。但是，跨分区的操作的，就要复杂的多。
一个MongoDB可以建立多个数据库，MongoDB默认数据库为"db"，该数据库存储在data目录中。
上一篇跟大家简单的介绍了一下 mongoDB 的特点，做了一个简单的入门，不知道大家是否还记得，不记得的小伙伴可以回顾一下《一起学》mongodb 之第一卷
8.1 Collaboration and conflict resolution
使用服务器端的Python渲染日期和时间来展示到用户的浏览器并非一个好主意。考虑如下的例子， 我在2017年9月28日下午4点06分写这篇文章。我身处的时区是PDT(UTC-7)，在Python解释器中运行如下：
【原文地址】https://docs.mongodb.com/manual/ 引言 MongoDB是一种开源文档型数据库，它具有高性能，高可用性，自动扩展性 1.文档数据库 MongoDB用一个文档来
上图是ICMP报文的基本格式，上面提到的三种ICMP报文均有“类型，代码和校验和”三个字段，后面还有4个字节是根据不同的报文类型而有不同的格式，有的是全0，有的则有其他的特殊格式。但是ICMP始终有8个字节的头部长度。其中类型字段代表着不同的报文类型，而代码字段指明了某个类型的报文中细分出的该报文的指定的功能。即一个类型的报文拥有着多种功能。
本篇介绍MongoDB数据库中常见的数字和时间数据类型使用场景，并给出最佳实践引导。
在一日一技：实现函数调用结果的 LRU 缓存一文中，我们提到Python自带的LRU缓存lru_cache。通过这个装饰器可以非常轻松地实现缓存。
这篇文章接上文mongodb4.0事务实现浅析。 mongo从3.6之后，开始进行WT-TIMESTAMP-PROJ，后续server层引入了带签名的逻辑时钟logic_clock.h。基于逻辑时钟与客户端协同，又实现了因果一致性会话。到4.0，server层的事务框架做了大的改进，Oplog空洞的维护从server层下移到引擎层，并且支持了wt层事务[as-if]提交时间可指定，从而统一了底层快照时间戳与server层OplogTime，使得以OplogTime作为参数直接访问引擎层快照成为可能。而OplogTime本身又由逻辑时钟指定，俨然一套基于逻辑时钟的严密体系。
Bitcask是一种“基于日志结构的哈希表”（A Log-Structured Hash Table for Fast Key/Value Data）
高性能事务系统应用程序通常在提供活动跟踪的历史记录表；同时，事务系统生成$日志记录，用于系统恢复。这两种生成的信息都可以受益于有效的索引。众所周知的设置中的一个例子是TPC-a基准应用程序，该应用程序经过修改以支持对特定账户的账户活动历史记录的有效查询。这需要在快速增长的历史记录表上按帐户id进行索引。不幸的是，基于磁盘的标准索引结构（如B树）将有效地使事务的输入/输出成本翻倍，以实时维护此类索引，从而使系统总成本增加50%。显然，需要一种以低成本维护实时索引的方法。日志结构合并树（LSM树）是一种基于磁盘的数据结构，旨在为长时间内经历高记录插入（和删除）率的文件提供低成本索引。LSM树使用一种延迟和批量索引更改的算法，以一种类似于合并排序的有效方式将基于内存的组件的更改级联到一个或多个磁盘组件。在此过程中，所有索引值都可以通过内存组件或其中一个磁盘组件连续进行检索（除了非常短的锁定期）。与传统访问方法（如B-树）相比，该算法大大减少了磁盘臂的移动，并将在使用传统访问方法进行插入的磁盘臂成本超过存储介质成本的领域提高成本性能。LSM树方法还推广到插入和删除以外的操作。然而，在某些情况下，需要立即响应的索引查找将失去输入/输出效率，因此LSM树在索引插入比检索条目的查找更常见的应用程序中最有用。例如，这似乎是历史表和日志文件的常见属性。第6节的结论将LSM树访问方法中内存和磁盘组件的混合使用与混合方法在内存中缓冲磁盘页面的常见优势进行了比较。
前段时间线上陆续遇到MongoDB 4.2版本sharding实例的mongos crash并且实例不可用的问题，现象为：在mongos的日志中出现如下信息、同时mongos crash，并且重启mongos后仍然会继续crash，无法提供服务，问题比较严重。
一，题记 所有的业务系统，都有生成ID的需求，如订单id，商品id，文章ID等。这个ID会是数据库中的唯一主键，在它上面会建立聚集索引！ ID生成的核心需求有两点： 全局唯一 趋势有序 二，为什么要全局唯一？ 著名的例子就是身份证号码，身份证号码确实是对人唯一的，然而一个人是可以办理多个身份证的，例如你身份证丢了，又重新补办了一张，号码不变。 问题来了，因为系统是按照身份证号码做唯一主键的。此时，如果身份证是被盗的情况下，你是没有办法在系统里面注销的，因为新旧2个身份证的“主键”都是身份证号码。 也就是说，
在分布式系统中，有一些场景需要使用全局唯一 ID ，可以和业务场景有关，比如支付流水号，也可以和业务场景无关，比如分库分表后需要有一个全局唯一 ID，或者用作事务版本号、分布式链路追踪等等，好的全局唯一 ID 需要具备这些特点：
创建多个日志，每个日志用于不同的目的。从以前的产品迁移过来的客户可以像过去一样利用这些日志，但现在还可以将所有日志信息导入一个单一的、中央的、机器可读的日志文件——结构化日志。然后可以将此文件与第三方分析工具一起使用。
最近在开发金融类的k线、盘口业务，而这些业务的海量数据如何存储，公司的技术选型，选择了MongoDB。
journalctl命令是Systemd日志系统的一个命令，主要用途是用来查看通过Systemd日志系统记录的日志，在Systemd出现之前，Linux系统及各应用的日志都是分别管理的，Systemd取代了initd之后便开始统一管理了所有Unit的启动日志，可以只用一个journalctl命令，查看所有内核和应用的日志。
本文源自阅读了 MongoDB 于 VLDB 19 上发表的 Tunable Consistency in MongoDB 论文之后，在内部所做的分享（分享 PPT 见文末）。现在把分享的内容整理成此文，并且补充了部分在之前的分享中略过的细节，以及在分享中没有提及的 MongoDB Causal Consistency（也出现在另外一篇 SIGMOD’19 Paper），希望能够帮助大家对 MongoDB 的一致性模型设计有一个清晰的认识。
kettle是基于JVM的所以大家只要有安装好的JVM解压后直接启动即可。这里推荐使用jvm8。
文档（document）是MongoDB中数据的基本存储单元，非常类似与关系型数据库管理系统中的行，当更有表现力。
我们都知道，topic是有分区（partition）的概念的， 生产者往同一个topic发送的消息最终是发送到了不同的分区里面。也就是说，一个topic里的消息是由该topic下所有分区里的消息组成的。在同一个分区里，消息是有序的，而不同分区中，消息是不能保证有序的。
在目前的APM和后续的IoT场景中，InfluxDB会发挥越来越重要的作用，那么InfluxDB是如何保存数据并且高性能对外提供存取服务的呢？下面就一起来看下InfluxDB原理的那些事 ~
MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库。
如果使用的是 Windows(Windows Mobile 除外)或 Unix 平台，则可以指定一个中央 LDAP 服务器来跟踪企业中的所有数据库服务器。如果数据库服务器在 LDAP 服务器中自行注册，客户端便可以查询 LDAP 服务器，找到其要查找的数据库服务器，无论这些服务器是在
[1240] Intro ------------------------------ 对于使用JS动态加载, 或者将下一页地址隐藏为JavaScript void(0)的网站, 如何爬取我们要的信息
事务是 mongoDB 中非常核心的一个功能，在 4.0 版本以前，mongoDB 只支持单个文档的事务，在 4.0 和 4.2 版本之后，分别支持了复制集事务和分片事务，也可以说在大多数的数据库中都是非常重要的一个功能，值得我们单独拉一章去讲解
上一篇文章[服务端篇]提到本项目的数据库采用了关系型的 MySQL，那么，本文将基于 MySQL 聊聊本项目的数据库设计。
偶然看到Wiredtiger团队总监Michael Cahill，关于timestamp的一段视频，写成文字和大家share，如有错误，请及时指正。Michael Cahill在2011年与另一个合伙人共同开发了wiredtiger。
在MongoDB数据库中名字空间 .system.* 是包含多种系统信息的特殊集合(Collection)，如下:
MongoDB从3.6开始推出了Change Stream功能，提供实时的增量数据流功能，为同步、分析、监控、推送等多种场景使用带来福音。4.0中引入的混合逻辑时钟，可以支持分片集群在不关闭balancer的情况下，吐出的增量数据在即使发生move chunk发生的情况下，还能够保证数据的因果一致性。不但如此，随着4.0.7开始推出的High Water Mark功能，使得返回的change stream cursor包括Post Batch Resume Token，更好的解决Change Stream中ResumeToken推进的问题。关于Change Stream的功能解读，网上可以找到比较多的资料，比如张友东的这篇解读介绍了Change Stream与oplog拉取的对比以及基本的使用。本文将主要侧重从内核源码层面进行解读，主要介绍分片集群版下Change Stream在mongos和mongod上都执行了哪些操作。此外，由于4.0开始MongoDB使用了混合逻辑时钟，从而保证了move chunk的因果一致性，所以本文还会先简单介绍一下MongoDB中混合逻辑时钟的原理。
admin： 从权限的角度来看，这是"root"数据库。要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
