如何使用node.js检查文本文件中的重复行？
如何使用node.js检查文本文件中的重复行？
提问于 2020-01-09 07:20:47
我正在创建一个node.js程序，它通过日志文件进行扫描并将信息输出到控制台。
有时，日志文件可能包含错误，这些错误基本上可以永远重复(我说的次数大概是20000次)。
我需要一种方法来检查是否有任何部分的文本在文件中重复多次。
因为我不知道我要找的是什么文本，所以我不能使用原生JS函数、regex或类似的东西。
有人知道我如何不用机器学习就能做到这一点吗？
我还没有尝试任何东西，因为我完全不知道如何做到这一点。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-01-09 07:38:35
将问题分解成多个步骤。一步一步地处理。因此，对于第一步，您的任务是弄清楚如何将文件从磁盘读入变量。下一步:将该变量转换为数组。等。
您可以使用这样的算法：
- 将日志文件读取到内存中。(如果日志文件太大，或者如果步骤2太大，研究将此任务分解为多个部分)
- 将日志文件转换为一个离散的文本片段数组(因此，您需要知道是什么分隔了离散的文本段)。
- 现在需要一个(空的)输出数组。在输入数组中使用
- 循环，对于每个数组元素，检查它是否已经在输出数组中。如果没有，就加进去。如果是，什么也不做。--
最后，您将拥有一个仅由唯一日志条目组成的输出数组。把它写成一个文件。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59667098
复制相关文章
相似问题
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
