在评估和选型数据库的时候，人们往往将重点放在数据建模的灵活性，一致性保证，线性可伸缩性，容错性，低延迟，高吞吐量和易于管理等方面。但怎么才能评判出这些指标呢？很多人往往会网上一通搜索和看官方文档，再加上自己的“经验”来得出这些指标。
最近遇到两个问题,wriedtiger引擎到底支持不支持LSM tree , 2 为什么percona的mongodb Dump 了ROCKSDB 的数据库引擎.
通过前面几天的学习，我们在面对高并发流量时，为了应对大量读写请求，特此将我们的普通存储系统开发成了一套分布式存储系统。主要基于读写分离主从复制以及数据分库分表实现的。不清楚的可以再回去看看啊数据库读写分离方案，实现高性能数据库集群，数据库分库分表后，我们生产环境怎么实现不停机数据迁移
NoSQL: non-relational,Not-Only SQL,致力于解决关系型数据库扩展的问题
但之后仍有问题待解决： 比如朋友圈关系的数据量达到千亿，即使分成1024个库表，单表数据量也达到亿级，且关系数据量还在极速增加，即使你分成再多库表，数据量也会很快到达瓶颈。 传统DB难以彻底解决该问题，因为扩展性很弱。这时，就可以利用NoSQL，天生分布式，能提供优秀的读写性能，补充了传统关系型数据库短板。那么它是如何做到的呢？ NoSQL，不同于传统关系型数据库的其他数据库系统的统称，不使用SQL作为查询语言，提供优秀的横向扩展能力和读写性能，非常契合互联网项目高并发大数据的特点。 Redis、LevelDB这样的KV存储，相比于传统DB，有极高读写性能，对性能有比较高的要求的场景都会使用。
我们熟知常用数据库MySQL MongoDB HBase等底层存储都用了各种树结构，如B树LSM树，不过为什么要用这些结构呢？
第二章讲了上层抽象：数据模型和查询语言。本章下沉一些，聚焦数据库底层如何处理查询和存储。这其中，有个逻辑链条：
索引的重要性在数据库中是不言而喻的，mysql 中使用了 B+ 数来当做索引的数据结构，为 mysql 性能提升做了很大的贡献，那么在 mongoDB 中又使用了什么数据结构呢？今天就和大家聊聊 mongoDB 的索引
索引支持在MongoDB中高效地执行查询。如果没有索引，MongoDB必须执行全集合扫描，即扫描集合中的每个文档，以选择与查询语句匹配的文档。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。
Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。
MongoDB 提供范围广泛的索引类型和功能以及特定于语言的排序顺序，以支持对数据的复杂访问模式。 MongoDB 索引可以按需创建和删除来适应不断变化的应用程序需求和查询模式，并且可以在文档中的任何字段上声明，包括嵌套在数组中的字段。本文介绍一下 MongoDB 中的索引底层结构、索引遍历过程、建索引以及如何使用。
MongoDB支持基于集合文档上任意列创建索引。缺省情况下，所有的文档的_id列上都存在一个索引。基于业务的需要，可以基于一些重要的查询和操作来创建一些额外的索引。这些索引可以是单列，也可是多列(复合索引)，多键索引，地理空间索引，文本索引以及哈希索引等。 本文主要描述在基于文档上的单列来创建索引。 一、创建语法 语法：db.collection.createIndex(keys, options) keys： 一个包含字段和值键值对的文档，指定该键即在该键上
非易失性内存的出现从根本上改变了数据库管理系统的内存和持久存储的架构。这些新型NVM设备具有堪比DRAM的速度，但是写到NVM设备后这些数据就具备了持久性。因为现现有的数据库管理系统基于内存是易失的这样的条件下，所以并不能充分利用这项技术。通过NVM，传统数据库管理系统的很多部件都将变得不再必要，并且会降低数据库的性能。
在计算机领域，有一个有趣的趋势，往系统中写入数据需要做更多的工作。我们需要对数据进行重新组织、合并、重新建立数据库索引等操作，才能使写入的内容更加有用。如果不这样做，必须实现内容搜索或其他工作来支持未来的数据读取。
高性能事务系统应用程序通常在提供活动跟踪的历史记录表；同时，事务系统生成$日志记录，用于系统恢复。这两种生成的信息都可以受益于有效的索引。众所周知的设置中的一个例子是TPC-a基准应用程序，该应用程序经过修改以支持对特定账户的账户活动历史记录的有效查询。这需要在快速增长的历史记录表上按帐户id进行索引。不幸的是，基于磁盘的标准索引结构（如B树）将有效地使事务的输入/输出成本翻倍，以实时维护此类索引，从而使系统总成本增加50%。显然，需要一种以低成本维护实时索引的方法。日志结构合并树（LSM树）是一种基于磁盘的数据结构，旨在为长时间内经历高记录插入（和删除）率的文件提供低成本索引。LSM树使用一种延迟和批量索引更改的算法，以一种类似于合并排序的有效方式将基于内存的组件的更改级联到一个或多个磁盘组件。在此过程中，所有索引值都可以通过内存组件或其中一个磁盘组件连续进行检索（除了非常短的锁定期）。与传统访问方法（如B-树）相比，该算法大大减少了磁盘臂的移动，并将在使用传统访问方法进行插入的磁盘臂成本超过存储介质成本的领域提高成本性能。LSM树方法还推广到插入和删除以外的操作。然而，在某些情况下，需要立即响应的索引查找将失去输入/输出效率，因此LSM树在索引插入比检索条目的查找更常见的应用程序中最有用。例如，这似乎是历史表和日志文件的常见属性。第6节的结论将LSM树访问方法中内存和磁盘组件的混合使用与混合方法在内存中缓冲磁盘页面的常见优势进行了比较。
LSM Tree（log-structured merge-tree）是一种文件组织结构的数据结构，目前在不少数据库中都有使用到，如SQLite、LevelDB、HBase在Mongodb中也有一个LSM引擎；
LSM 树广泛用于数据存储，例如 RocksDB、Apache AsterixDB、Bigtable、HBase、LevelDB、Apache Accumulo、SQLite4、Tarantool、WiredTiger、Apache Cassandra、InfluxDB和ScyllaDB等。
MongoDB 是一个高性能，开源，无模式的文档型数据库，采用C++开发，是当前NoSQL数据库中比较热门的一种，在许多场景下可用于替代传统的关系型数据库或键/值存储方式
哈希表 哈希表支持增、删、改、查操作，但是支持范围查找较差；因为哈希表特性，如果进行范围查找，一个范围的所有数据都必须经过哈希计算来查找对应的链表节点，这几乎是需要这个范围每一个数据都需要去哈希表中查找一次，性能比较差。 📷 B+树 B+树支持增、删、改、查操作，并且很好支持范围查找，插入和查找性能均衡。 B+树的结构每个非叶子节点是数据索引，叶子节点是数据或者数据的指针。B+树叶子节点之间的连接可以实现高效的范围查询，例如innoDB存储引擎默认就是B+树结构. 传统的B+树读写相对比较均衡，但是当内存容
2006年，Google 发表了 BigTable 的论文。这篇论文提到 BigTable 单机上所使用的数据结构就是 LSM。
在现在的互联网时代，网上购物已经称为常态，当我们在各大电商平台购物的时候，不难发现这样一个现象。当你搜索某个上面进行浏览的时候，点击目标商品，之后返回到首页，很大概率你就可以发现，你刚才搜索的商品的相关产品已经在首页的推荐栏目。例如，你购买了一件护肤品面霜，回到首页推荐处，系统可能就会给你推荐口红或者相关护肤品。又例如当你搜索用户画像书籍的时候，推荐栏目就会出现有关用户画像的书籍。这些功能就叫做推荐，而完成这些行为的即为推荐系统。
1. 概述 Log-Structured Merge-trees (LSM树)被广泛应用在现代NoSQL系统存储层中，比如：BigTable、Dynamo、HBase、Cassandra、LevelDB、RocksDB和AsterixDB等等。不同于传统的索引结构（比如B+树）更新时直接在所在位置进行修改，LSM树则先将数据直接写入到内存，然后通过合并线程将内存数据刷新到磁盘。这种设计有很多好处，包括：超高的写性能、不错的空间利用率、可优化性、简单的并发控制和恢复机制等。 2. LSM树的
http://qing.blog.sina.com.cn/1765738567/693f0847330008ii.html
前言：最近在了解大数据实时分析技术druid,究其原理时发现用到了类LSM树思想以实现高效的数据插入，于是展开了对LSM的了解，了解之后感觉这东西虽然也并没有很特别，但在大数据、分布式架构中的应用还是非常有价值的，下面简单做下分享！
主从复制和副本集区别 主从集群和制本集最大的区别就是副本集没有固定的“主节点";整个集群会选出一个主节点当其挂掉后，又在剩下的从节点中选中其他节点为"主节点"。副本集总有一个活跃点(主primary和一 个或多个备份节点(从secondary)。
经历了大概 4 个月的打磨，LotusDB 的第一个 release 版本终于发布了，我看了下，有 200 多次 commit（接近 rosedb 一年多的 commit 次数了）。
最近听到一些对MONGODB的理解的歧义,认为MONGODB 数据库内容比较少,并没有一些值得深入研究,诚然对比不少数据库MONGODB看似是简单的,但任何一门技术都有他的特殊性,如果只是表面皮毛的利用和使用,或许也没有什么问题,可遇到问题后,如何解决就成了问题, 是做扁鹊 还是扁鹊的哥哥们,或者是一个庸医,都在你自己的一念之差.
作为目前数据库引擎的两种主要数据结构，LSM-tree和B+-tree在业界已经有非常广泛的研究。相比B+-tree，LSM-tree牺牲一定的读性能以换取更小的写放大以及更低的存储成本，但这必须建立在已有的HDD和SSD的基础上。 探索前沿研究，聚焦技术创新，本期DB·洞见由腾讯云数据库高级工程师王宏博进行分享，主要介绍一篇2022年FAST的论文，主题为“基于硬件透明压缩的B+树优化”。本次分享的论文针对可计算存储SSD（支持硬件透明压缩）提出了三种有趣的设计方法，从而极大地减少了B+-tree的写放大
Hash Index 是一种相对简单的索引结构。几乎每一种程序设计语言都有提供内存数据结构 hash map/table 的标准库，比如 C++ 中的 std::unordered_map、Python 中的 dictionary、Golang 中的 map。
作者：hazenweng，腾讯 QQ 音乐后台开发工程师 MongoDB 作为一款优秀的基于分布式文件存储的 NoSQL 数据库，在业界有着广泛的应用。下文对 MongoDB 的一些基础概念进行简单介绍。 1 MongoDB 特点 面向集合存储：MongoDB 是面向集合的，数据以 collection 分组存储。每个 collection 在数据库中都有唯一的名称。 模式自由：集合的概念类似 MySQL 里的表，但它不需要定义任何模式。 结构松散：对于存储在数据库中的文档，不需要设置相同的字段，并且
数据是系统最重要的信息。大部分系统都是对数据的管理。应用系统通过数据模型来构建现实世界，通过算法操作对象或数据结构，来改变数据模型的状态。数据被组织在操作系统文件中，我们通过数据系统来组织，查询，搜索，处理数据。
上一章讨论了数据模型与查询语言，即向数据库给出数据时数据的格式以及数据查询的机制，其可以理解为从应用开发者的角度出发讨论了上述两件事情。本章将从「数据库」的角度来进行讨论，即如何存储给出的数据以及如何在要求查询时找到所需的数据，所介绍的存储引擎可以用于传统的关系数据库和大多数 NoSQL 数据库。
LotusDB 是一个基于 LSM Tree 进行设计，并结合 B+ 树优势的单机 KV 存储引擎，读写性能稳定、快速。
HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper作为其分布式协同服务，一般用于存储海量数据。HDFS和HBase的区别在于，HDFS是文件系统，而HBase是数据库。HBase只是一个NoSQL数据库，把数据存在HDFS上。可以把HBase当做是MySQL，把HDFS当做是硬盘。
创建多个索引 2.3.0 :056 > db1[:test2].indexes.create_many([{:key => { name: 1 }, :unique => true },{:key => { label: -1 }}]) D, [2016-05-26T23:27:27.426590 #32905] DEBUG -- : MONGODB | 192.168.100.105:27017 | post.createIndexes | STARTED | {"createIndexes"=>"te
微服务架构下，很适合用 DDD（Domain-Drive Design）思维来设计各个微服务，使用领域驱动设计的理念，工程师们的关注点需要从 CRUD 思维中跳出来，更多关注通用语言的设计、实体以及值对象的设计。至于数据仓库，会有更多样化的选择。分布式系统中数据存储服务是基础，微服务的领域拆分、领域建模可以让数据存储方案的选择更具灵活性。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/83012634
点击上方蓝字，发现更多精彩 导语 LSM作为一种重要的数据存储结构方式，被许多大型开源存储系统应用为底层引擎的存储结构。同时由于influxDB的不断改良，一种基于LSM的改良数据结构TSM也开始被熟知并广泛应用。本文将基于官方文档和相关论文分析该两种数据结构的组成原理和应用特点。 LSM（Log-Structured Merge Tree）日志结构合并树 ° 模型发展 由于b+树具有稳定查询效率、逻辑上有序的数据存储等特点，使得b+树成为了许多RDBMS的底层引擎的数据结构。不过，b+数的有序数据存储仅
从本月起，我们将从逻辑正确、内容完整的角度全面介绍WiredTiger存储引擎，推出WiredTiger存储引擎系列文章。由于源码体量很大，通读工作量巨大，细节之处如有问题和错误，欢迎大家指出。
MySQL + HBase是我们日常应用中常用的两个数据库，分别解决应用的在线事务问题和大数据场景的海量存储问题。
来源：blog.csdn.net/weixin_41605937/ article/details/110933984
十多年前，谷歌发布了大名鼎鼎的"三驾马车"的论文，分别是GFS(2003年)，MapReduce（2004年），BigTable（2006年），为开源界在大数据领域带来了无数的灵感，其中在 “BigTable” 的论文中很多很酷的方面之一就是它所使用的文件组织方式，这个方法更一般的名字叫 Log Structured-Merge Tree。在面对亿级别之上的海量数据的存储和检索的场景下，我们选择的数据库通常都是各种强力的NoSQL，比如Hbase，Cassandra，Leveldb，RocksDB等等，这其中前两者是Apache下面的顶级开源项目数据库，后两者分别是Google和Facebook开源的数据库存储引擎。而这些强大的NoSQL数据库都有一个共性，就是其底层使用的数据结构，都是仿照“BigTable”中的文件组织方式来实现的，也就是我们今天要介绍的LSM-Tree。
索引的作用就是为了加快搜索，计算机要处理的数据非常复杂，为了快速检索多种多样的数据，聪明的程序员们就发明了各种类型的索引。
选择合适的数据结构取决于系统的使用情况，读写负载以及存储和检索的数据类型。在设计数据库索引时，需要仔细考虑这些因素以满足特定的性能和功能要求。
1. ensureIndex添加索引 ensureIndex 函数帮助文档 db.blog.ensureIndex(keypattern[,options]) - options is an object with these possible fields: name, unique, dropDups name：指定索引名称 unique：是否唯一索引 dropDups：是否删除重复 创建索引的缺点：每次插入、更新、删除时都会产生额外的开销，要尽可能少创建索引。每个集合默认的最大索引个数为64个。 如果没有对应的键，索引会将其作为null存储，所以，如果对某个建立了唯一索引，但插入了多个缺少该索引键的文档，则由于文档包含null值而导致插入失败。 例子 > db.users.find() { "_id" : ObjectId("4fc6d0c9387a7fee4eb6bfa9"), "name" : "aaa", "age" : 23, "sex" : "male" } { "_id" : ObjectId("4fc6d0e5387a7fee4eb6bfaa"), "name" : "bbb", "age" : 25, "sex" : "male" } { "_id" : ObjectId("4fc6d0f4387a7fee4eb6bfab"), "name" : "ccc", "age" : 25, "sex" : "male" } { "_id" : ObjectId("4fc6d100387a7fee4eb6bfac"), "name" : "ddd", "age" : 25, "sex" : "male" } { "_id" : ObjectId("4fc6d110387a7fee4eb6bfad"), "name" : "eee", "age" : 23, "sex" : "male" } > db.users.ensureIndex({"name":1,"age":-1},{"name":"userIndex"}) //1，-1代表索引方向 //查找索引 > db.system.indexes.find() { "name" : "_id_", "ns" : "blog.users", "key" : { "_id" : 1 }, "v" : 0 } { "_id" : ObjectId("4fc6d1d0387a7fee4eb6bfb1"), "ns" : "blog.users", "key" : { "name" : 1, "age" : -1 }, "name" : "userIndex", "v" : 0 }
经过差不多两个月的重构，在社区小伙伴的共同协作努力下，LotusDB V2.0.0版本正式发布！
来源：https://blog.csdn.net/weixin_41605937/article/details/110933984
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
