首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

如何快速判断URL 是否在 20 亿的网址 URL 集合中?

来源:http://rrd.me/ekN8q 何为布隆过滤器 还是以上面的例子为例: 判断逻辑: 多次哈希: Guava的BloomFilter 创建BloomFilter 最终还是调用: 使用: 算法特点...若此时随便输入一个 url,你如何快速判断url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出。...URL字符串通过Hash得到一个Integer的值,Integer占4个字节,那20亿个URL理论上需要:20亿*4/1024/1024/1024=7.45G的内存,不满足空间复杂度的要求。...判断逻辑: 如果byte数组上的第二位是1,那么这个URL(X)可能存在。为什么是可能?因为有可能其它URL因哈希碰撞哈希出来的也是2,这就是误判。...使用: 最后通过:put和 mightContain方法,添加元素和判断元素是否存在。 算法特点 1、因使用哈希判断,时间效率很高。空间效率也是其一大优势。2、有误判的可能,需针对具体场景使用。

1.8K30

2023-06-11:redis中,如何在100个亿URL中快速判断URL是否存在?

2023-06-11:redis中,如何在100个亿URL中快速判断URL是否存在?...答案2023-06-11: 传统数据结构的不足 当然有人会想,我直接将网页URL存入数据库进行查找不就好了,或者建立一个哈希表进行查找不就OK了。...如果整个网页黑名单系统包含100亿个网页URL,则简单的数据库查找操作将非常费时,并且如果每个URL空间为64B,则整个系统需要的内存空间将达到640GB,这对于一般的服务器来说是一个非常大的需求,难以实现...布隆过滤器 布隆过滤器简介 1970 年布隆提出了一种布隆过滤器的算法,用来判断一个元素是否在一个集合中。这种算法由一个二进制数组和一个 Hash 算法组成。

13810

20 亿的 URL 集合,如何快速判断其中一个?

若此时随便输入一个 url,你如何快速判断url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出。...URL字符串通过Hash得到一个Integer的值,Integer占4个字节,那20亿个URL理论上需要:20亿*4/1024/1024/1024=7.45G的内存,不满足空间复杂度的要求。...判断逻辑: 如果byte数组上的第二位是1,那么这个URL(X)可能存在。为什么是可能?因为有可能其它URL因哈希碰撞哈希出来的也是2,这就是误判。...多次哈希: 为了减少因哈希碰撞导致的误判概率,可以对这个URL(X)用不同的哈希算法进行N次哈希,得出N个哈希值,落到这个byte数组上,如果这N个位置没有都为1,那么这个URL(X)就一定不存在集合中...使用: 最后通过:put和 mightContain方法,添加元素和判断元素是否存在。 算法特点 1、因使用哈希判断,时间效率很高。空间效率也是其一大优势。 2、有误判的可能,需针对具体场景使用。

1.2K20

一道腾讯面试题:如何快速判断URL 是否在 20 亿的网址 URL 集合中?

何为布隆过滤器 还是以上面的例子为例: 判断逻辑: 多次哈希: Guava的BloomFilter 创建BloomFilter 最终还是调用: 使用: 算法特点 使用场景 ---- 假设遇到这样一个问题...:一个网站有 20 亿 url 存在一个黑名单中,这个黑名单要怎么存?...若此时随便输入一个 url,你如何快速判断url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出。...判断逻辑: 如果byte数组上的第二位是1,那么这个URL(X)可能存在。为什么是可能?因为有可能其它URL因哈希碰撞哈希出来的也是2,这就是误判。...使用: 最后通过:put和 mightContain方法,添加元素和判断元素是否存在。 算法特点 1、因使用哈希判断,时间效率很高。空间效率也是其一大优势。2、有误判的可能,需针对具体场景使用。

1K40

dnspod url转发_url解析

一些比较常用的域名软件有又url转发的功能,类似于花生壳,nat123,dnspod等都有转发url的功能没大会具体是怎么转发的方式是怎么样的呢?...经过网上资料查找,查看了一些书籍,大概有了一些了解 首先了解一下,URL转发包括显性转发和隐性转发。显性转发:访问域名后,转跳到新的自定义URL地址,浏览器http地址是变化的。...以下直接来URL转发的实现过程,先注册一个dnspod用户,如随便需要邮箱,手机验证绑定验证。如果你不验证手机的话,无法使用URL转发功能。dnspod的使用首先得添加你的域名。...使用URL转发。当dnspod提示域名解析生效后,及域名由它解析使用1个月以上后,就可以使用URL显性转发了。它的URL隐性转发是不开放的,需要另外单独算增值功能使用。...废话不多说,以下直接来URL转发的实现过程。 先注册一个dnspod用户,如随便用qq号邮箱即可注册。 别忘记还得手机验证绑定。如果你不验证手机的话,URL转发功能是使用不了的。

4.3K50

Url Rewrite 再说Url 重写

前几天看到园子里一篇关于 Url 重写的文章《获取ISAPI_Rewrite重写后的URL》 , URL-Rewrite 这项技术早已不是一项新技术了,这个话题也已经被很多人讨论过多次。...在这种场景下URL-Rewrite像是软件架构技术中的一个中间层的概念,URL-Rewrite对外公开的URL是被重写过的,这个URL被用户收藏,不会变,当Web站点调整,内部Page的位置改变了,使得内部实际的...URL地址也改变了,这时修改内部的重写规则,让原来对外公开的URL重写到新的内部URL上。...如果您的站点既不需要考虑URL兼容防止死链问题,也不需要进行SEO优化,就完全没有必要进行URL-Rewrite。URL-Rewrite是一个对性能有害的处理过程。...Constants.HeaderXPoweredBy, Configuration.XPoweredBy); _rewriter.Rewrite(); } } 2)读取重写规则,判断是否需要重写

4.4K80

URL转发基础!_URL怎么用

1、什么是URL转发? 所谓URL转发是当你访问一个域名时,将会自动跳转到您所指定的另一个网络地址(URL)。...假设abc.com是您要访问的域名,则通过URL转发服务可以实现当访问http://www.abc.com时,自动转向访问另外一个URL,如:http://www.otherdomain.com/somedir...URL转发服务尤其对于拥有一个主网站并同时拥有多个域名的用户比较适用,通过URL转发服务,您就可以轻松实现多个域名指向一个网站或网站子目录了; 另外,通过URL转发服务,可以方便的实现将您的中文域名,...2、URL转发隐藏路径和不隐藏路径有何区别?...3 url转发应该是url重写的一种吧.url转发的隐藏转发可以用框架结构实现.不知道哪个网站有关于这方面的好资料.

2.6K10
领券