文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何从 100 亿 URL 中找出相同的 URL？

来源 | https://doocs.github.io/advanced-java/ 题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。...请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B，那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 ： 首先遍历文件 a，对遍历到的 URL 求 hash(URL) % 1000 ，根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999，这样每个大小约为 300MB...这样处理过后，所有可能相同的 URL 都在对应的小文件中，即 a0 对应 b0, ..., a999 对应 b999，不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL，看在 HashSet 集合中是否存在，若存在，说明这就是共同的 URL，可以把这个 URL 保存到一个单独的文件中。

2.8K30
您找到你想要的搜索结果了吗？
是的
没有找到

分享几个酷炫的 IDEA 主题

CodeWhite7 来源 | blog.csdn.net/weixin_46146269/article/details/104793277 IDEA，全称 IntelliJ IDEA ，是 Java 语言的集成开发环境...， IDEA 在业界被公认为是最好的 java 开发工具之一，尤其在智能 代码助手、代码自动提示、重构、 J2EE支持、 Ant 、 JUnit 、 CVS 整合、代码审查、创新的GUI 设计等方面的功能可以说是超常的...平时开发中由于频繁用眼的原因，导致许多开发人员视力下降，主题插件虽然不能提高开发效率，但这时候一个舒适的主题可以使开发人员更舒适的开发。 以下推荐几款个人喜欢的几款主题！...以上4个主题是我比较喜欢的主题，主题下载可以在idea里下载插件，也可以到官网插件中下载。链接已经给出。 在IDEA中下载：搜索这4个插件下载即可。 ? 更换主题：在Setting中设置更换 ?...这些主题合你胃口吗 ？你还有更好的主题推荐吗？留言区告诉我们哟！

6K20

分享几个绕过URL跳转限制的思路

大家对URL任意跳转都肯定了解，也知道他的危害，这里我就不细说了，过~ 大家遇到的肯定都是很多基于这样的跳转格式 http://www.xxx.xxx/xxx?...xxx=http://www.xxx.xxx/xxxxx 基本的思路大家就是直接替换后面的URL来检测是否存在任意URL跳转，如果不存在，就直接返回到它自己的域名，如果存在，就跳转到你指定的URL...其实就是放到它自身的域名前面也就是你添加的想要跳转的域名的后面，如：http://www.aaa.com/acb?Url=http://test.com?...Url=http: … ttp://login.aaa.com 当然，还有多重的，这个结构的多重跳转你修改最后面的URL就可以达到任意URL跳转，中间的URL就没必要动了。...0x06 点击触发达到绕过URL跳转限制 比如很多登陆页面的地方，其URL是一个跳转的URL 如：http://www.aaa.com/acb?

3.9K60

面试经历：如何从 100 亿 URL 中找出相同的 URL？

题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B，那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 ： 首先遍历文件 a，对遍历到的 URL 求 hash(URL) % 1000 ，根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999，这样每个大小约为 300MB...这样处理过后，所有可能相同的 URL 都在对应的小文件中，即 a0 对应 b0, ..., a999 对应 b999，不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL，看在 HashSet 集合中是否存在，若存在，说明这就是共同的 URL，可以把这个 URL 保存到一个单独的文件中。

1.9K00

分享几个有点意思的 GitHub 项目

作者 | GitHubDaily 来源 | GitHubDaily 今天跟大家分享下，过去一周我在 GitHub 上看到的几个比较实用的开源项目。...语音伪装神器，让你跟马云称兄道弟 不久前，一位来自比利时的小哥在 GitHub 上开源了一个基于深度学习的语音合成项目，它通过采集分析一段具体的声音样本，便可在 5 秒内生成与之类似的克隆语音。 ?...https://liyasthomas.github.io/postwoman/ 从名字上看，你应该就可以大概判断出两者的暧昧关系了。...https://github.com/liyasthomas/postwoman 从功能上看，Postwoman 相较 Postman 略有删减，少了不少与服务器进行数据交互的一些功能，但是作为一款 API...前不久，一位来自加拿大的学生在 GitHub 上开源了一个与 waifu2x 相仿的项目，它便是：Anime4K。

77020

分享下我 GitHub 被封的经历

最近好像又有人 GitHub 被封，每隔一段时间就有。分享下我自己的经历吧，好几年以前了，也许还是有点参考价值。...有一些使用 GitHub 做第三方登录的网站登不上了 知道了事情大概的原因后，我要做的主要就是两件事，第一件事是想办法挽回上面说到的三个损失；第二件事是联系官方，看事情能不能补救。...我用谷歌搜了下自己的 GitHub ID ，的确找到了一些第三方网站的备份，但要不就是信息太旧不全，要不就没有 star 的列表，只能说挽回部分损失。...不过我很快发现，GitHub API 仍然是可以访问的。...就是我们可以访问如下 API 来找到某个用户 star 过的仓库： https://api.github.com/users/[username]/starred 比如这两天被封的那位仁兄sam01101

83340

分享最近看到的几个 GitHub 项目

今天周日，刚好得空，抽出一点时间跟大家分享下，过去一周我在 GitHub 上看到的几个比较实用的开源项目。...语音伪装神器，让你跟马云称兄道弟 不久前，一位来自比利时的小哥在 GitHub 上开源了一个基于深度学习的语音合成项目，它通过采集分析一段具体的声音样本，便可在 5 秒内生成与之类似的克隆语音。 ?...https://liyasthomas.github.io/postwoman/ 从名字上看，你应该就可以大概判断出两者的暧昧关系了。...https://github.com/liyasthomas/postwoman 从功能上看，Postwoman 相较 Postman 略有删减，少了不少与服务器进行数据交互的一些功能，但是作为一款 API...前不久，一位来自加拿大的学生在 GitHub 上开源了一个与 waifu2x 相仿的项目，它便是：Anime4K。

1.7K20

Github 是如何做到同步系统主题颜色的？

今天逛 github 发现出了一个新功能： image.png 动态效果： image.png 可以更改主题模式了，其实更改主题模式也不是什么新鲜功能，有很多网站都有： image.png image.png...image.png image.png 可以看到实现的方式基本就是在浏览器本地存一个数据来标识当前处于什么模式，当然 github 也没有例外： image.png 那难道本文就完了？...当然没有，这次要讲的是同步系统的主题模式，有没有发现第一张图的下拉框内有一个选项：Sync with system： image.png 它这里就是同步系统主题的地方，先看下动态效果： image.png...那它是如何实现的呢？...if(event.mode == 'dark'){ }else if(event.mode == 'light'){ } }) 但是我们可以通过另一个途径来实现检测主题的变化

69750

从解决Github TimeOut到经典面试题：从输入URL到浏览器显示页面发生了什么？

Github仓库地址：https://github.com/Damaer/Coding 编程笔记地址：https://damaer.github.io/Coding/ 问题描述 在Windows操作系统上...，push代码到git的时候，出现了Failed to connect to github.com port 443: Timed out的错误。...首先我们可以使用以下的命令，删除代理配置： git config --global --unset http.proxy 然后打开ipaddress.com,查询以下的域名，记录其ip： github.com...DNS,重新push： ipconfig /flushdns 以上做法可以解决部分连接github慢的问题，主要是超时的问题，如果不是超时的问题，上面的做法是不会起作用的，这个只是把对应的域名和ip...上述只是一个概述，具体的细节很多，这个下次具体聊聊，但是我们可以看出，在这个过程中确实涉及到了DNS的服务器以及缓存，所以我们刷新缓存之后，访问github就可以请求到对应的ip上去。

84010

从解决Github TimeOut到经典面试题：从输入URL到浏览器显示页面发生了什么？

问题描述 在Windows 操作系统上，push代码到git的时候，出现了Failed to connect to github.com port 443: Timed out的错误。...首先我们可以使用以下的命令，删除代理配置： git config --global --unset http.proxy 然后打开ipaddress.com,查询以下的域名，记录其ip： github.com...github.global.ssl.fastly.net [9816fe7d3fa5484babb47c162d1c83d1.png] [3aacaa7b9af824b7e928b5f5f535d91f.png...上述只是一个概述，具体的细节很多，这个下次具体聊聊，但是我们可以看出，在这个过程中确实涉及到了DNS的服务器以及缓存，所以我们刷新缓存之后，访问github就可以请求到对应的ip上去。...【刷题笔记】 Github仓库地址：https://github.com/Damaer/codeSolutionundefined笔记地址：https://damaer.github.io/codeSolution

89220

行之有效的屏蔽恶意 URL 请求的方法分享

说起恶意 URL 请求（Malicious URL request）可能很多老站长们应该都知道，URL 恶意请求对于网站来说是很正常的一种“黑客行为”，大家都知道搜索引擎有“蜘蛛爬虫”（bot），那么反之黑客也有自己的...简单点说就是一个可以在网络上运行并且不断的“遍历”发现的网站上的程序漏洞并记录反馈给指定的服务器什么的，需要的时候就可以针对网站漏洞进行攻击或者什么的（攻击只是一个统称，把被攻击网站做“肉鸡”用来攻击别人...『26 号被攻击的记录和分析』一文的攻击其实就是一次大规模的恶意 URL 请求造成的，如果你还是不明白或者无法理解恶意 URL 请求的话，那么下面的日志记录的请求只要你关注过自己站点的日志文件一定不会陌生...URL 请求节录，这是明月自用的主机上 Web 服务器拦截屏蔽掉的恶意 URL 请求，当然这仅仅是个代表而已，形式有很多种，在『26 号被攻击的记录和分析』一文里明月曾经做过汇总分析，这些恶意请求可以说是无时无刻的存在着...WAF 规则，这是最简单的措施了，几乎不用花费我们什么的，都是免费的。

2.6K20

从输入URL到渲染的完整过程1

浏览器会对跨域的资源访问进行一些限制图片同源策略对 ajax 的跨域限制的最为凶狠，默认情况下，它不允许 ajax 访问跨域资源图片所以，我们通常所说的跨域问题，就是同源策略对 ajax 产生的影响有多种方式解决跨域问题...它的总体思路是：如果浏览器要跨域访问服务器的资源，需要获得服务器的允许图片而要知道，一个请求可以附带很多信息，从而会对服务器造成不同程度的影响比如有的请求只是获取一些新闻，有的请求会改动服务器的数据针对不同的请求...，高兴的像一个两百斤的孩子，于是，它就把响应顺利的交给 js，以完成后续的操作下图简述了整个交互过程图片需要预检的请求简单的请求对服务器的威胁不大，所以允许使用上述的简单交互即可完成。...HTTP/1.1 200 OKDate: Tue, 21 Apr 2020 08:03:35 GMT...Access-Control-Allow-Origin: http://my.com...添加用户成功可以看出...cookie// xhrvar xhr = new XMLHttpRequest();xhr.withCredentials = true;// fetch apifetch(url, { credentials

64440

博客添加暗色主题切换功能，从主题切换聊聊前后端cookies的使用

也就是在当天，我给自己的博客 github 上面提交了一个 issue，也就是需要给博客添加一套暗色主题并支持主题切换。但是人都是有拖延症的，这一拖，两个月就过去了，我的主题切换功能才终于上线了。...cookies的使用 既然实现了主题切换，那么如何存储用户切换的主题状态，这是最重要的一点，毕竟你总不能让用户每次刷新页面都需要重新切换主题吧。...，虽然可以实现主题状态的保持，但是由于主题是从亮色切换到暗色的，虽然切换的速度太快我们看不到主题由亮色转换成暗色的过程，但是可以感觉到页面有一个非常短暂的“闪光”，其实这也就是 css 做替换的过程，虽然短到可以忽略...分析完因果关系，就可以着手动起来了，当时我从认识到问题到想到解决办法其实也就花了不到5分钟，当时的脑子转的还挺快的。...可以看我当时提交的修改 https://github.com/Hopetree/izone/pull/100/files 总结 主题切换的本质就是样式覆盖 可以通过 cookies 设置值来记录当前用户选择的主题状态

51910

从GitHub上星星最多的男人开始发GitHub综述资料

作者：Bruce.D github：https://github.com/doukoi-BDB GitHub仓库介绍 1、仓库所有代码全部免费、原创。...GitHub仓库功能 1、仓库分享 — 项目中需要用到的函数（ctrl+c/v 即可使用），函数都是封装提交 2、仓库分享 - 相关类文件（ctrl+c/v ，稍作调整，即可使用） 3、仓库分享 - 相关...GitHub 使用说明 一、使用 composer 拉取对应版本代码 1）拉取特定版本1.0.3 ：composer require txz/sdk:1.0.3 2）拉取项目的5.5系列的版本：composer...4）也可以下载我的包：https://packagist.org/packages/txz/sdk 二、消息通知 1）版本内容更新，底部消息公告 + 社群消息通知 更新公告&其他 一、其他公告 1）...函数包含 【 1、默认生成用户名 ，函数：getUserName 2、数组中元素 & 对象中属性，拼接成url形式字符串 ，函数：weiXin_buildSign 3、随机字符串 ，函数：uniqueString

35230
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券