内存数据库技术白皮书

内存数据库又称主存数据库（In-memory或main memory database），是一种主要依靠内存来存储数据的数据库管理系统。

在数据库技术中，有一类内存优化技术，是在传统的磁盘数据库中，增加内存缓冲池，也就是常说的共享内存技术，其主要目的是最小化磁盘访问。

而内存数据库技术，几乎把整个数据库放进了内存中，相较于传统数据库使用的磁盘读写机制，内存具备更极致的读写速度，性能会比传统的磁盘数据库有数量级的提升。因此内存数据库通常被用于对性能要求较高的场景中。

1.内存技术的成熟

内存器件的容量密度在快速上升。最早期的内存和今天常见的内存条不同，是直接焊接在主板上的内存芯片，容量普遍在64KB以下。

1982年之后，随着80286芯片的推出，开始出现30线（Pin）256KB的SIMM内存条，被认为是内存领域的开山鼻祖；

在80年代末，386和486时代的PC向16位发展，出现了72线的SIMM内存，单条容量可达512KB-2MB；90年代初，EDODRAM开始盛行，单条容量在4MB-16MB；

在1995年，计算机系统进入图形界面时代，内存技术也发生了重要变革，支持64位的SDRAM成为一代经典，在性能上有极大提升，容量也达到了64MB；

随后的十几年，内存容量开始稳定地遵循摩尔定律翻倍，持续到2019年，DDR3内存的容量已经可以达到16GB。

内存器件的单位价格也在逐年快速下降。从1970年代至今，内存每兆字节的价格下降了近9个数量级，根据2019年最新的统计数据，平均花费3-5美元就可以购买到1GB的内存。

数据来源：中国通信院整理

内存容量的持续上涨以及价格的下降，使大量数据在内存中进行存储和操作成为可能。

2.内存技术的瓶颈与突破

过去几十年，计算机系统的存储体系结构被设计成如图2的金字塔形模型。这样的存储结构利用局部性原理尽量将热数据存储在靠近CPU的地方。在传统模式中，内存数据库的所有数据都保存在DRAM介质中。

虽然DRAM的价格已经大幅下降，但在海量数据存储的需求下，内存的成本依然是很大的问题；另外由于DRAM属于易失性介质，掉电后所有数据都会丢失，需要额外考虑数据持久化的方案，会极大的限制内存数据库的性能和使用场景。

针对DRAM现存的一些硬件瓶颈，业界已经研发出了持久型内存（PM，Persistent Memory），学术名为存储级内存（SCM，Storage ClassMemory），和DRAM一样，都是安装在机器主板的内存槽接口中。

参考图2，DDRDRAM及以上的易失性存储CPU可以通过load/store指令直接访问，而NANDSSD及以下的非易失性存储CPU无法直接访问，需要先加载到易失性存储中，可以看出DRAM与SSD之间存在巨大的性能鸿沟，在访问时延上出现了跳变。

而持久型内存位于DRAM与SSD之间，以load/store指令的方式访问并支持数据的持久化，也填补了DRAM与SSD在时延上存在的鸿沟。相比DRAM，持久型内存在性能上处于劣势，但容量和价格均占据优势；相比NANDSSD，持久型内存在性能上处于优势，但容量和价值处于劣势。

内存数据库的发展主要经历了雏形期、理论成熟期、市场成长期及高速发展期四个阶段。

内存数据库在提供高性能读写能力的同时，也存在由于器件导致的数据易失问题，需要在应用中引起注意。

1.优势：高性能读写

由于省去了磁盘I/O的开销，在数据访问的时延上内存型数据库可以达到传统关系型数据库无法达到的微秒级别，单机内存数据库的QPS也可以达到10万以上，配合上用户态协议栈、内存大页等技术之后，更是可以轻松达到几十万QPS的量级，这是传统的关系型数据库很难做到的。

2.挑战：内存数据易失

内存数据库当前主要使用DRAM作为存储介质，DRAM属于掉电易失性介质，为了保证数据的可靠性，内存数据库需要考虑持久化方案。现阶段主流的键值对内存数据库对于持久化的支持较为薄弱，持久化性能也不如传统数据库。

内存型数据库中克服掉电易失性来保障数据可靠性的方法主要是以下两种：

一是每次操作都进行数据持久化，这种方式势必会大幅降低内存数据库的性能；

二是按照一定的策略进行操作的持久化，这样可以达到一定程度的优化和缓解，但极端情况下数据丢失的情况仍不可避免。

现阶段新型的非易失性存储器件已经发布但尚未规模化商用。相信解决了存储易失性的难题后，内存数据库会具备更多的应用。

温馨提示：