Internal Versus External BLOBs

如果您拥有一个大型BLOB数据库，那么当您将完整的BLOB内容直接存储在数据库中时，还是将每个BLOB存储在单独的文件中并将相应的文件名存储在数据库中时，您是否获得了更好的读取性能？

为了回答这个问题，我们在Linux工作站上运行了49个测试用例，其中包括各种BLOB大小和SQLite页面大小（Ubuntu大约2011年，在快速SATA磁盘上使用Ext4文件系统）。对于每个测试用例，都会创建一个包含100MB BLOB内容的数据库。BLOB的大小从10KB到1MB不等。BLOB的数量有所不同，以便将总BLOB内容保持在100MB左右。（因此，1MB大小的100个BLOB和10K大小的10000个BLOB）等等。使用SQLite 版本3.7.8（2011-09-19）。

更新：SQLite版本3.19.0（2017-05-22）的新测量结果显示， 对于读取和写入10KB Blob ，SQLite 比直接磁盘I / O的速度快 大约35％。

下面的矩阵显示读取存储在单独文件中的BLOB所需的时间，除以读取完全存储在数据库中的BLOB所需的时间。因此，对于大于1.0的数字，将BLOB直接存储在数据库中会更快。对于小于1.0的数字，将BLOB存储在单独的文件中会更快。

在任何情况下，都会调整页面缓存大小，以将缓存大小保持在2MB左右。例如，对于1024字节页面使用2000页面高速缓存，对于65536字节页面使用31页面高速缓存。BLOB值是以随机顺序读取的。

我们从上面的矩阵中推导出以下经验法则：

• 数据库页面大小为8192或16384可为大型BLOB I / O提供最佳性能。

• 对于小于100KB的BLOB，当BLOB直接存储在数据库文件中时，读取速度更快。对于大于100KB的BLOB，从单独的文件读取速度更快。

当然，您的里程可能会因硬件，文件系统和操作系统而异。在进行特定设计之前，请仔细检查目标硬件上的这些数字。