从BerkeleyDB认识内嵌式数据库

前言

说起数据库，很多人第一时间想到的是MySQL、oracle这样的关系型数据库，亦或者是redis这种KV结构的内存数据库。这些数据库在我们的生产环境中都是随处可见的。

后来我在学习python的爬虫框架Scrapy的时候，其中scrapy-deltafetch插件，解决了每次启动无法从上次结束位置接着爬取的问题。在深入学习的过程中了解到，scrapy-deltafetch这一功能是由嵌入式数据库BerkeleyDB实现的。

内嵌式数据库

平时我们使用的MySQL、redis等，都需要在服务器上首先部署独立的软件服务，然后每个服务监听一个端口（例如MySQL的3306、redis的6376）。然后我们在编程开发中，通过客户端或者SDK连接这些服务。

这也意味着如果想获取MySQL、redis中的数据，用户程序要和就要和它们进行通讯，且出现网络波动、网络中断都会影响正常的数据库连接和请求。

那什么是嵌入式数据库呢？顾名思义，嵌入式数据就是将数据库嵌入到了应用程序进程中，同应用程序在相同的地址空间中运行，所以程序和嵌入式数据库不需要进程间的通讯。

其次，嵌入数据库是一种具备了基本数据库特性的数据文件，提供了一套API去访问、管理一个数据库文件，采用程序方式直接驱动，而非引擎响应方式驱动。

常见的内嵌式数据库

在我的大数据开发生涯中，我遇到过三种内嵌式数据库：

1. SQLite：SQLite是一个关系型的SQL数据库引擎。
2. Berkeley DB：Berkeley DB 是一个高性能的嵌入式数据库，支持键值存储模式。我在scrapy-deltafetch插件中第一次了解。
3. RocksDB：从LevelDB派生出来的一个键值数据库引擎，我在学习flink开发的时候，RocksDB用作存储状态后端。

BerkeleyDB

上面的三种内嵌式数据库，我对BerkeleyDB研究的比较多一些，所以这里就拿BerkeleyDB来做一个演示。

from bsddb3 import db
# 创建数据库对象
bsddb = db.DB()
# 打开对象
bsddb.open("DouLuoDaLu.db")

value = bsddb.get(b'7a2be8fb1a7f645c95e1d994d9cd5bcc58073b3f')
print(value)

更新中...