首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

如何 100 亿 URL 找出相同的 URL

5, 000, 000, 000 * 64B ≈ 5GB * 64 = 320GB 由于内存大小只有 4G,因此,我们不可能一次性把所有 URL 加载到内存处理。...使用同样的方法遍历文件 b,把文件 b URL 分别存储到文件 b0, b1, b2, ..., b999 。...这样处理过后,所有可能相同的 URL 都在对应的小文件,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合。...然后遍历 bi 每个 URL,看在 HashSet 集合是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件

2.8K30

面试:如何 100 亿 URL 找出相同的 URL

5, 000, 000, 000 * 64B ≈ 5GB * 64 = 320GB 由于内存大小只有 4G,因此,我们不可能一次性把所有 URL 加载到内存处理。...使用同样的方法遍历文件 b,把文件 b URL 分别存储到文件 b0, b1, b2, ..., b999 。...这样处理过后,所有可能相同的 URL 都在对应的小文件,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合。...然后遍历 bi 每个 URL,看在 HashSet 集合是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件

4.4K10

面试:如何 100 亿 URL 找出相同的 URL

“5, 000, 000, 000 * 64B ≈ 5GB * 64 = 320GB 由于内存大小只有 4G,因此,我们不可能一次性把所有 URL 加载到内存处理。...使用同样的方法遍历文件 b,把文件 b URL 分别存储到文件 b0, b1, b2, ..., b999 。...这样处理过后,所有可能相同的 URL 都在对应的小文件,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合。...然后遍历 bi 每个 URL,看在 HashSet 集合是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件

2.2K20

LyScript 文本读写ShellCode

LyScript 插件通过配合内存读写,可实现对特定位置的ShellCode代码的导出,或者将一段存储在文本的ShellCode代码插入到程序堆,此功能可用于快速将自己编写的ShellCode注入到目标进程...插件地址:https://github.com/lyshark/LyScript将本地ShellCode注入到堆: 第一种用法是将一个本地文本的ShellCode代码导入到堆。...首先准备一个文本文件,将生成的shellcode放入文件内。图片然后可以循环读取文本,并逐个将shellcode注入到目标堆空间中。...if address == False: exit() # 设置内存可执行属性 dbg.set_local_protect(address,32,1024) # 文本读取...from LyScript32 import MyDebug# 将特定内存保存到文本def write_shellcode(dbg,address,size,path): with open(path

53120

LyScript 文本读写ShellCode

LyScript 插件通过配合内存读写,可实现对特定位置的ShellCode代码的导出,或者将一段存储在文本的ShellCode代码插入到程序堆,此功能可用于快速将自己编写的ShellCode注入到目标进程...插件地址:https://github.com/lyshark/LyScript 将本地ShellCode注入到堆: 第一种用法是将一个本地文本的ShellCode代码导入到堆。...首先准备一个文本文件,将生成的shellcode放入文件内。 然后可以循环读取文本,并逐个将shellcode注入到目标堆空间中。...address == False: exit() # 设置内存可执行属性 dbg.set_local_protect(address,32,1024) # 文本读取...from LyScript32 import MyDebug # 将特定内存保存到文本 def write_shellcode(dbg,address,size,path): with open

57910

面试经历:如何 100 亿 URL 找出相同的 URL

5, 000, 000, 000 * 64B ≈ 5GB * 64 = 320GB 由于内存大小只有 4G,因此,我们不可能一次性把所有 URL 加载到内存处理。...使用同样的方法遍历文件 b,把文件 b URL 分别存储到文件 b0, b1, b2, ..., b999 。...这样处理过后,所有可能相同的 URL 都在对应的小文件,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合。...然后遍历 bi 每个 URL,看在 HashSet 集合是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件

1.9K00

用好JAVA的函数式接口,轻松通用代码框架剥离掉业务定制逻辑

今天我们一起聊一聊JAVA的函数式接口。那我们首先要知道啥是函数式接口、它和JAVA普通的接口有啥区别?...那按照常规的思路,我们要将定制逻辑从公共逻辑剥离,会定义一个接口类型,要求不同资源实体类都继承此接口类,实现接口类的calculatePirce方法,这样在平台通用计算逻辑的时候,就可以通过泛型接口调用的方式来实现我们的目的...+ priceInfo.getTax()); return priceInfo; } 考虑到我们构建的平台代码的灵活性与可扩展性,能不能我们不要求所有资源都去实现指定接口类,也能将定制逻辑平台逻辑剥离呢...编程范式的演进思考 前面的章节呢,我们一起探讨了下函数式接口的一些内容,而函数式接口也是函数式编程的一部分。这里说的函数式编程,其实是常见编程范式的一种,也就是一种编程的思维方式或者实现方式。...回到代码,现在有个需求: 给定的一个数字列表collection里面,找到所有大于5的元素,用命令式编程的风格来实现,代码如下: List results = new ArrayList

46530

一种精确文本中提取URL的思路及实现

在今年三四月份,我接受了一个需求:文本中提取URL。这样的需求,可能算是非常小众的需求了。大概只有QQ、飞信、阿里旺旺等之类的即时通讯软件存在这样的需求。...的ali-inc部分要求“-”是可选的,且在存在“-”时,要求其左右存在数字或者字母。...以下是RFC文档BNF范式结合实际问题被修改成的正则表达式: ((((ftp:|https:|http:)([\Q/\\E])*)|())(((%[0-9a-fA-F][0-9a-fA-F])|([a-zA-Z0...(这是很久前一个做实验的版本,不能保证其准确性)利用这个正则表达式我们可以发现很多域名,这些域名都是我某款安全辅助软件的二进制文件扒下来了 。...还有请仔细看,这些域名没有数字,这为我之后的设计提出了一种思路。 国内IM对URL提取的处理 ?

4.6K20

如何文本构建用户画像

推荐阅读时间:8min~10min 文章内容:如何文本构建用户画像 一文告诉你什么是用户画像 介绍了到底什么是用户画像,了解了用户画像的本质是为了让机器去看之后,这里谈一谈如何文本构建用户画像。...文本数据是互联网产品中最常见的信息表达形式,具有数量多、处理快、存储小等特点。来简单看下如何文本数据构建用户画像。...主题模型:大量已有文本中学习主题向量,然后再预测新的文本在各个主题上的概率分布情况,也很实用,其实这也是一种聚类思想,主题向量也不是标签形式,也是用户画像的常用构成。...标签选择 前面提到的都是将文本进行结构化,生成标签、主题、词向量等等,如何通过结构化后的文本构建用户画像呢?或者说如何将文本的结构化信息传递给用户呢?...总结 用户画像在推荐系统的作用是非常重要的,如何文本构建用户画像信息呢?简单来说就是两部分:结构化文本信息和筛选部分特征信息。

4.6K61

【重磅】谷歌无人车成立独立实体公司 Waymo,谷歌X实验室剥离

【新智元导读】谷歌无人车12月14日正式宣告成立独立实体公司 Waymo,谷歌X实验室剥离。这意味着在实验室孵化了8年的项目即将开始商业化。...综合国外媒体的报道,日前谷歌无人车项目正式谷歌X实验室剥离,成立新的无人驾驶公司 Waymo,作为Alphabet的第12个独立子公司运营 。这被视为谷歌无人车走向商业化的重要一步。...确定谷歌X实验室剥离,成立独立实体公司Waymo。 2. Waymo 是无人驾驶技术公司,而不是无人驾驶汽车公司。 如何解读? 关于第1点,成立公司的首要目的就是商业化,要赚钱盈利。...这在无形为其技术增添了更多处理困难事务的案例和参考,例如对救急车辆如何反应以及操作多车道四向停车等。 ?...在过去一年时间里,谷歌已经扩大了这个项目,为其聘用了更多工程师,并将测试中心两个美国城市增加到了4个。

68040
领券