开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >1000T的文件找出重复字符串

1000T的文件找出重复字符串

作者头像

名字是乱打的

发布于 2022-05-13 09:43:38

4460

发布于 2022-05-13 09:43:38

举报

文章被收录于专栏：软件工程

假设有一个大小是1000T的文件,文件里每行是一个字符串求出重复的行

思路: 先看有多少机器,如果1000台机器

我们可以按行读取文件,把每行数据利用hash函数求出hashcode,再%1000,结果是几就放再哪个机器上,这样相同的字符串有相同的hashcode值,那么他们必然放在同一台机器上,这样就可以更快速的得到答案了.当然如果说分批处理一台机器上数据量还是很大可以再进行hash再次细分处理.

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2022-05-13，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.