bloom filter

场景

在做广告定向投放时，我们选出了一批用户，用设备ID来标识他们。如果我们定向出了1000万个用户。用户获取服务时，我们需要判断是否在该集合中，如果在的话，将广告一起返回。如何判断呢？

• 存入数据库中，比如redis。优点是实现简单，缺点是内存占用大
• 使用bloom filter算法。优点是使用较小的内存空间，就可以判断一个给定的值是否在一个大的集合中，缺点是有一定的误判率，可以将误判率优化到0.009%，而这个是可以接受的

bloom filter原理

现有资源 长度为m的bit数组array，值都设置为0。同时有k个hash算法，每个算法能均匀的产生0到m-1的数值。 构建bloom filter 对于每一个输入的key，用hash算法产生k个hash值，将array的这k个位置均设成1。该网站Example有相应的演示。 判断 输入一个key，用hash算法产生k个hash值，如果array的这k个位置都为1，则key可能在这个集合内。否则，该key一定在不在这个集合内

参考

• https://en.wikipedia.org/wiki/Bloom_filter
• http://codingjunkie.net/guava-bloomfilter/