首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

如何快速判断URL 是否在 20 亿的网址 URL 集合中?

若此时随便输入一个 url,你如何快速判断url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出。...布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。 是不是描述的比较抽象?那就直接了解其原理吧!...判断逻辑: 如果byte数组上的第二位是1,那么这个URL(X)可能存在。为什么是可能?因为有可能其它URL因哈希碰撞哈希出来的也是2,这就是误判。...使用: 最后通过:put和 mightContain方法,添加元素和判断元素是否存在。 算法特点 1、因使用哈希判断,时间效率很高。空间效率也是其一大优势。2、有误判的可能,需针对具体场景使用。...使用场景 1、黑名单 2、URL去重 3、单词拼写检查 4、Key-Value缓存系统的Key校验 5、ID校验,比如订单系统查询某个订单ID是否存在,如果不存在就直接返回。

1.8K30
领券