首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何 100 亿 URL 中找出相同的 URL

来源 | https://doocs.github.io/advanced-java/ 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。...请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

2.8K30

面试:如何 100 亿 URL 中找出相同的 URL

---- 来源:8rr.co/FR7V 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

4.4K10
您找到你想要的搜索结果了吗?
是的
没有找到

面试:如何 100 亿 URL 中找出相同的 URL

来源:8rr.co/FR7V 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

2.3K20

面试经历:如何 100 亿 URL 中找出相同的 URL

题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

1.9K00

如何在 Linux 中备份恢复 Crontab?

在这种情况下,如果我们有一个之前的Crontab备份文件,我们可以通过恢复备份文件来恢复任务调度。本文将详细介绍如何在Linux中备份恢复Crontab。...图片 了解 Crontab 的备份 在深入讨论如何恢复Crontab之前,让我们先了解一下Crontab的备份方法。...我们可以将这个备份文件保存在一个安全的地方,以便在需要恢复时使用。 现在我们已经了解了Crontab的备份方法,让我们深入探讨如何备份中恢复Crontab配置。...恢复 Crontab 配置 要从Crontab备份文件中恢复Crontab配置,您可以按照以下步骤进行操作: 将备份文件复制到您希望恢复Crontab配置的位置。...其他恢复方法 除了备份文件恢复Crontab配置外,还有其他一些方法可以尝试恢复Crontab: 查找其他用户的Crontab备份:如果您有多个用户在同一台机器上使用Crontab,并且其他用户的配置文件没有丢失

33120

Redis中主、库宕机如何恢复

1、什么是哨兵 哨兵是对Redis的系统的运行情况的监控,它是一个独立进程,功能有二个: 监控主数据库和数据库是否运行正常; 主数据出现故障后自动将从数据库转化为主数据库; 2、原理 单个哨兵的架构:...3、环境 当前处于一主多的环境中: 4、设置哨兵 启动哨兵进程首先需要创建哨兵配置文件: vim sentinel.conf 输入内容: sentinel monitor taotaoMaster...9059917216012421e8e89a4aa02f15b75346d2b7 为master数据库添加了一个监控 发现了2个slave(由此可以看出,哨兵无需配置slave,只需要指定master,哨兵会自动发现slave) 5、宕机及恢复...-sdown:说明是恢复服务。...接下来,我们恢复6379查看状态: 2989:X 05 Jun 20:35:32.172 # -sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ taotaoMaster

83920

Redis中主、库宕机如何恢复

1、什么是哨兵 哨兵是对Redis的系统的运行情况的监控,它是一个独立进程,功能有二个: 监控主数据库和数据库是否运行正常; 主数据出现故障后自动将从数据库转化为主数据库; 2、原理 单个哨兵的架构:...3、环境 当前处于一主多的环境中: 4、设置哨兵 启动哨兵进程首先需要创建哨兵配置文件: vim sentinel.conf 输入内容: sentinel monitor taotaoMaster...9059917216012421e8e89a4aa02f15b75346d2b7 为master数据库添加了一个监控 发现了2个slave(由此可以看出,哨兵无需配置slave,只需要指定master,哨兵会自动发现slave) 5、宕机及恢复...-sdown:说明是恢复服务。...接下来,我们恢复6379查看状态: 2989:X 05 Jun 20:35:32.172 # -sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ taotaoMaster

97820

如何在 Linux 中备份恢复 Crontab?

在这种情况下,如果我们有一个之前的Crontab备份文件,我们可以通过恢复备份文件来恢复任务调度。本文将详细介绍如何在Linux中备份恢复Crontab。...了解 Crontab 的备份 在深入讨论如何恢复Crontab之前,让我们先了解一下Crontab的备份方法。...我们可以将这个备份文件保存在一个安全的地方,以便在需要恢复时使用。 现在我们已经了解了Crontab的备份方法,让我们深入探讨如何备份中恢复Crontab配置。...恢复 Crontab 配置 要从Crontab备份文件中恢复Crontab配置,您可以按照以下步骤进行操作: 将备份文件复制到您希望恢复Crontab配置的位置。...其他恢复方法 除了备份文件恢复Crontab配置外,还有其他一些方法可以尝试恢复Crontab: 查找其他用户的Crontab备份:如果您有多个用户在同一台机器上使用Crontab,并且其他用户的配置文件没有丢失

32940

Redis中主、库宕机如何恢复

来源 | 程序员老鬼 正文 1、什么是哨兵 哨兵是对Redis的系统的运行情况的监控,它是一个独立进程,功能有二个: 监控主数据库和数据库是否运行正常; 主数据出现故障后自动将从数据库转化为主数据库...9059917216012421e8e89a4aa02f15b75346d2b7 为master数据库添加了一个监控 发现了2个slave(由此可以看出,哨兵无需配置slave,只需要指定master,哨兵会自动发现slave) 5、宕机及恢复...-sdown:说明是恢复服务。...接下来,我们恢复6379查看状态: 2989:X 05 Jun 20:35:32.172 # -sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ taotaoMaster...Spring Boot如何实现在线预览?这个开源项目可以学习一下,支持99%常用文件! Spring Security太复杂?试试这个轻量、强大、优雅的权限认证框架!

55220

如何在 Git 中重置、恢复,返回到以前的状态

使用 Git 工作时其中一个鲜为人知(和没有意识到)的方面就是,如何轻松地返回到你以前的位置 —— 也就是说,在仓库中如何很容易地去撤销那怕是重大的变更。...在本文中,我们将带你了解如何去重置、恢复和完全回到以前的状态,做到这些只需要几个简单而优雅的 Git 命令。 重置 我们 Git 的 reset 命令开始。...恢复 git revert 命令的实际结果类似于 reset,但它的方法不同。...with two lines 9ef9173 File with one line 这里是工作目录中这个文件当前的内容: $ cat Line 1 Line 2 image.png 恢复或重置如何选择...本质上来说,Git 将一个分支中的每个不同提交尝试“重放”到另一个分支中。

3.5K20

如何 SQL Server 恢复已删除的数据

在我使用 SQL Server 的这些年里,最常见的问题之一一直是“我们如何恢复已删除的记录?” 现在, SQL Server 2005 或更高版本恢复已删除的数据非常容易。...(注意:此脚本可以恢复以下数据类型并与 CS 排序规则兼容)。...解释: 它是如何工作的?让我们一步一步地看一下。该过程需要七个简单的步骤: 步骤1: 我们需要从sql server中获取已删除的记录。...但是在恢复数据之前,我们需要了解格式。这种格式在Kalen Delaney 的《SQL Internal》一书中有详细定义。...内容0,状态位A+状态位B + [固定长度数据] +1, [空位图长度] +2) 列偏移数组= 子字符串(RowLog内容 0,状态位 A+ 状态位 B + [固定长度数据] +1,[空位图长度] +

8210

如何0开始搭建组件

Tech 导读 本文主要介绍了组件库的意义,并列举了一些常见的组件库框架选型,重点讲述了组件如何0开始搭建的过程以及如何发布到npm私服,最后讲述了在具体项目中如何引用组件库的几种方法,...设计稿出发,提升页面搭建效率,亟需解决的核心问题有: 首先组件库可以帮助降本提效,其次可以保持视觉风格统一以及交互一致,可以快速构建使用场景,便于多个项目后续迭代升级 。...03 如何创建组件库 理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值...5.naive-ui - 宝藏 Vue UI 库,Vue UI 新星, Vue 3 起步。 6.vant - 有赞团队开源移动 UI 组件库,全面支持 Vue 3。...https://docs.npmjs.com/cli/publish 04 如何在项目中使用组件 理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载

36820

如何SD卡恢复误删除的文件

为什么SD丢失的文件可以恢复?...当这个文件被删除后,只是将文件信息地图上抹去,但是文件数据依然在房间中。在新的数据存入覆盖之前,删除的文件是可以恢复的。SD卡的格式化恢复原理也与此类似,格式化会将房间重新编号,不会立刻将数抹去。...有些数据恢复软件对丢失文件的重新整合分析以及碎片处理能力差导致丢失的文件不能完整恢复。如果不小心删除了SD卡上的重要文件,该怎么恢复呢?手头没有数据备份的话,可以使用数据恢复软件来解决问题。...步骤2、在电脑硬盘或者是其他存储设备上安装并打开数据恢复精灵软件。想要恢复SD卡误删除的文件,选择“恢复已删除的文件”或是“恢复整个磁盘的文件”都可以。...步骤6、勾选想要恢复的文件,然后点“恢复”按钮。把文件导出复制到其他位置就完成SD卡文件恢复任务了。

23910

如何在Vue组件中访问Vuex store中的状态

在Vue组件中访问Vuex store中的状态,可以通过计算属性 (computed properties) 或者直接通过$store.state来实现。...下面是两种常见的方法: 1:使用计算属性 (computed properties): 在Vue组件中,定义一个计算属性来获取Vuex store中的状态。计算属性会根据状态的变化自动更新。...2:直接使用 $store.state: 在Vue组件中,通过this.$store.state来访问Vuex store中的状态。...直接修改Vuex store中的状态可能会导致状态不可追踪和调试,因此推荐使用mutations或actions来更新状态,保持状态的一致性和可预测性。...如果在组件中需要频繁访问Vuex store中的多个状态,可以使用mapState辅助函数或者mapGetters辅助函数来简化访问,使代码更简洁、可读性更好。

23920

如何写一个Compose状态组件 (修正篇)

在上个月前,我写了这样的一篇文章,开源 | 如何写一个好用的 JetPack Compose 状态组件 。...里面讲了如何去写一个 compose 状态组件,结果这反而是错误的开始,本篇就是对上述的一个修正及反思过程。...优化,如何能更实用 在 compose 中,状态的改变其实我们都应该考虑到是否会对其他组件造成不必要的重组影响,所以 compose 中我们应该尽量保证每个组件都 保持独立 。...,并且 状态组件 ComposeState 需要接收一个 pageState 对象,默认我们使用 rememberPageState() 实现,由 ComposeState 组件 自己管理状态。...在本篇,我们传统命令式的视角切回到了声明式实现思路,重新实现了一个 Compose 中的状态组件,具体实现与细节大家可以看 上述源码,也可以也可以根据自身业务进行更改。

1K10

如何0开发一个Atom组件

如何0开发一个Atom组件 最近用Atom写博客比较多,然后发现一个很严重的问题。。 没有一个我想要的上传图片的方式,比如某乎上边就可以直接copy/paste文件,然后进行上传。...我们在触发Paste操作时,clipboard中获取,如果剪切板中是图片的话,我们就将它上传并显示到编辑器中。...[](${placeHolderText})`, editor) 然后在上传成功后,我们将对应的填充字符替换为上传后的URL就可以了。...editor.scan(new RegExp(placeHolderText), tools => tools.replace(url)) scan方法接收一个正则对象和回调函数。...我们将前边用到的占位文本作为正则对象,然后在回调将其替换为上传后的url。 至此,我们的代码已经编写完了,剩下的就是一些交互上的优化。

85130
领券