2回答
我有一个超过20K行的Yaml文件，它似乎有超过2K个重复的键。我正在寻找一种自动从文件中删除所有重复密钥的方法。PHPSTROM提供了这个功能，可以逐个删除它们，但它是一个大文件。任何在线工具或自定义代码的PHP，Go，Python将受到欢迎，以帮助我删除重复的关键字。
浏览 2提问于2020-10-21得票数 0
2回答
优化从大文件中删除重复行
python
我想从一个文件中删除一个重复的行，但是如果没有效率的话，可以考虑使用这个集合，并且会限制我可以解析的文件的大小。
浏览 2提问于2014-11-22得票数 0
回答已采纳
1回答
删除大文件中的重复行
java、bloom-filter
如何在使用Java读取.fastq(文本)文件时删除重复的字符串行？目前正在使用下一代测序(ngs)，需要从文件测序(大数据)中删除重复读数。我正在尝试在java中使用和，但仍然不能成功。
浏览 19提问于2018-08-23得票数 0
9回答
用Python从大型文件中删除一行的最快方法
python、optimization
我正在Linux系统上处理一个非常大(~11 on )的文本文件。我正在通过一个程序运行它，它正在检查文件中是否有错误。一旦发现错误，我需要修复行或完全删除行。然后再重复..。但是，现在，让我们假设我是手工运行的。
从这个大文件中删除特定行的最快方法(在执行时间方面)是什么？我认为在Python...but中这样做对其他例子是开放的</e
浏览 6提问于2010-02-24得票数 25
回答已采纳
1回答
如何通过Powershell在文件中写入内容
powershell
我是PowerShell新手，我希望读取一个文件夹(子文件夹)中的多个文件，并希望将我的内容放入/写入文件中的特定位置。但如果该内容已在文件中可用，则应跳过意味着不在文件中写入我有两个配置文件C:\Projects\Project_2\
浏览 0提问于2015-07-28得票数 0
1回答
删除唯一并保持重复
bash、sorting
我有一个有100 k行和大约22列的大文件。我想删除列15中的内容只显示一次的所有行。所以据我所知，在删除了第15列中唯一的行之后，我想再次洗牌所有行，这样就没有排序了。为此，我会用生成的文件应该只包含至少有一个重复的行(在第1
浏览 1提问于2018-07-25得票数 2
回答已采纳
2回答
从文件bash工具中删除列
linux、bash、awk
我有一个大约有200,000列和大约5000行的大文件。下面是该文件的一个简短示例，其中第1列和第5列重复。下面是我需要的结果示例。原始文件中的第5列已被删除。某些列被重复多次。我需要使用bash工具从数据中删除重复项(保留第一个实例)。我不能对数据排序，因为我需要保持顺序。
浏览 0提问于2017-08-18得票数 1
4回答
我有一个由两列组成的大文件，我想根据第2列中重复的条目删除这一行，我想删除两个重复的条目。awk '!seen[$2]++' filename
但它只删除一个副本。
浏览 0提问于2019-07-05得票数 4
回答已采纳
6回答
在Python中移除大文件中的重复行
python、duplicates
我有一个csv文件，我想从其中删除重复的行，但它太大了，无法装入内存。我找到了一种方法来完成它，但我猜这不是最好的方法。
每行包含15个字段和数百个字符，所有字段都需要确定唯一性。我不是通过比较整个行来查找重复项，而是比较hash(row-as-a-string)以节省内存。我设置了一个筛选器，将数据划分为大致相等的行数(例如，一周中的几天)，每个分区都足够小，该分区的哈希值的查找
浏览 2提问于2010-08-11得票数 9
回答已采纳
3回答
从大文件中删除重复项
unix、sorting、uniq
我有一个大约20 csv的csv文件。示例文件：2,b@b.com,M3,d@d.com,Funiq.csv应包含所有非重复记录，而duplicates.csv将包含所有具有当前时间戳的重复记录。a.com,M3,d@d.com,F2012-06-29 01:53:31 PM, 1,c@c
浏览 1提问于2012-06-20得票数 2
4回答
在Python中优化删除大文件中的重复项
python、optimization、duplicates、large-files
我有一个非常大的文本文件(27 2GB)，我试图通过删除第二个数据库中重复的行来使其更小，该数据库有几个大小更合理的文件(500MB-2 2GB)。我已经对这个想法进行了多次迭代，这个想法目前是最适合时间的，如果有人有想法为过滤器做一个更好的逻辑结构，我很乐意听到它，过去的尝试都比这个更糟糕:将过滤器加载到一个集合中，在输入中循环搜索重复项(大约是这个速度
浏览 1提问于2012-07-08得票数 1
回答已采纳
2回答
删除python中的重复行
python、python-2.7
，，那么我想删除等号行(逐字符匹配的行是等号的)和(i)。后面的行(以句号结尾) (ii)。等号线之前的一行(以#@开头)。现在，一种方法是将所有这些行存储在python中的一个集合中，并且每当两行相等(即它们逐字符匹配)时，前一行和后面的两行将被删除。但是，我的数据集的大小是100 is (
浏览 3提问于2015-07-06得票数 2
1回答
分割和删除一个文件？
linux、split
我目前正在尝试将一个大文件(9GB文件)分割成更小的块，以便一次一个地读取到数据库中。不幸的是，我在机器中只有一个20 8GB的SSD (这是一个便宜的VPS)，所以我只有8GB的空闲空间，因此我可以分割文件以便读取和删除。虽然我确实考虑了在短期内扩大VPS的规模，但显然在这个时候我做不到，所以我一直在寻找其他的选择。因此，我想知道是否可以使用split命令将一个文件分解成9个部分，同时递增地<em
浏览 2提问于2014-10-25得票数 0
回答已采纳
3回答
从大文件中删除少量行
python、unix
我有一个非常大的文本文件，其中大多数行是由ASCII字符组成的，但是有一小部分行有非ASCII字符。创建仅包含ASCII行的新文本文件的最快方法是什么？现在，我正在检查每一行中的每个字符，看看它是否是ASCII，如果所有字符都是ASCII，则将每一行写入新文件，但是这个方法相当慢。另外，我正在使用Python，但将来也会使用其他语言。/usr/bin/pytho
浏览 9提问于2014-06-24得票数 0
回答已采纳
3回答
如何从大文件中删除行
python、algorithm
我有一个包含表单每一行的大文件如果没有其他行，我想删除所有这样的行，例如或d a ea，b，c，d，e都是整数。例如，如果输入是：1 2 200 1 15 那么输出应该是2 3 25在任何类似线性时间的情况下都有可能做到这一点吗？一个想法是创建两个排序列表的字典。一个用于与第一列值相
浏览 8提问于2013-07-23得票数 0
回答已采纳
3回答
只保留唯一行，搜索整个目录
linux、bash、shell、sh
TL；博士如何确保在所有文件之间没有重复行？127.0.0.1 yahoo.comz.txt
0
浏览 4提问于2017-01-05得票数 1
回答已采纳
4回答
删除文件中的重复数据
java、search、duplicate-data
我有一个很大的文件，因此不能一次加载。存在重复数据(通用数据，可能是字符串)。我需要删除重复项。
浏览 1提问于2011-05-23得票数 2
回答已采纳
2回答
从Notepad++中删除重复行
regex、bash、notepad++
我正在寻找一种从我的Notepad++文件中删除重复行的方法。每行都不是精确的重复。情况就是这样。我有一个大写公司名称的大文件和概率值(每一个用一个制表符分隔)。所以格式是这样的：SAMSUNG .01294因此，我需要删除其中的一行，因为第一列中有一个匹配<em
浏览 3提问于2014-02-06得票数 0
回答已采纳
1回答
RichTextBox类型的输出&删除重复项
vb.net
我试图制作一个小型VB程序，从纯文本中删除重复行和空行。lines_nodupes = {} lines_nodupes[
浏览 3提问于2016-04-24得票数 1
回答已采纳
3回答
我有两个文件，一个小的和一个大的。小文件是大文件的子集。例如：solar:1000大文件：solar:1000alexey:2000因此，我编写了一个Perl脚本，如下
浏览 0提问于2012-06-04得票数 2
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号