在linux中，如何从一个非常大的文件中获得唯一的行？
在Linux中，可以使用以下命令从一个非常大的文件中获得唯一的行：
- 使用sort和uniq命令组合：
- 使用sort和uniq命令组合：
- 这个命令首先使用sort命令对文件进行排序，然后使用uniq命令去除重复的行，并将结果输出到unique_lines.txt文件中。
- 使用awk命令：
- 使用awk命令：
- 这个命令使用awk工具，通过一个数组来记录已经出现过的行，然后打印未出现过的行，并将结果输出到unique_lines.txt文件中。
以上两种方法都可以从一个非常大的文件中获取唯一的行。根据实际情况选择合适的方法。
推荐的腾讯云相关产品：腾讯云对象存储（COS）
- 产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
1回答
在linux中，如何从一个非常大的文件中获得唯一的行？
linux、large-files、uniq
我有一个非常大的数据文件(255G；3,192,563,934行)。不幸的是，我的设备上只有204G的可用空间(而且我没有其他设备可以使用)。我做了一个随机抽样，发现在一个给定的，比如说，100K行中，大约有10K行唯一的行……但是文件没有排序。这在这种情况下是行不通
浏览 5提问于2017-07-28得票数 4
回答已采纳
7回答
在linux上按文件名长度复制文件
linux、file、shell
如何在linux上按文件名长度复制文件？我必须将文件名14加上扩展名的所有文件从一个非常大的目录复制到另一个目录中。提前感谢！
浏览 2提问于2014-09-16得票数 0
回答已采纳
4回答
从文本文件PHP或LINUX返回行的范围
php、linux、file
我这里有一个小问题，我需要能够读取一个未知大小的文件，它可能是几百行或更多，日志文件一直在变化，这取决于我何时检查。我想有一个方法，是在php或在linux中，我可以从一个文件中读取行的范围。我不想把整个文件读到php内存中，然后删除行，因
浏览 0提问于2012-10-01得票数 2
回答已采纳
1回答
组合PDF在不同位置的目标信息
powerbi、powerquery、m
我有几个PDF文件需要组合并从每个文件中获取一个目标信息。我只能在一个特定的行中定位目标信息(现在每个文件都有一行)，但是不知道如何定位它在哪一列？我唯一能确定的是“目标名称”在每个文件中都是相同的，而“目标信息”就在它后面。
我认为我可以将它从一
浏览 1提问于2022-03-28得票数 0
回答已采纳
2回答
如何在unix中获取错误描述
unix、sh
朋友您好，我有一个unix脚本，它可以将文件从一个文件夹移动到另一个已更改名称的文件夹中。文件大小非常大。
我放了echo "Return code :“$0来获取文件mv命令的结果代码。对于特定的文件，我得到了1，这是非常大的。你能建议我如何获得
浏览 0提问于2016-12-18得票数 0
2回答
从Python中庞大的统一发行版中抽取样本
python、memory、sampling、uniform
我需要从范围3.7*10^8中选择[0, 3*10^9]唯一值，或者按顺序获得它们，或者将它们保存在内存中。为了做到这一点，我开始研究一个简单的算法，在这个算法中，我对更小的均匀分布(适合内存)进行了采样，以便间接地对真正感兴趣的大型分布进行采样。代码可在下面的gist 中获得
因为我在实现一些更健壮的东西时遇到了困难，所以我想知道您是否有其他的
浏览 0提问于2014-02-05得票数 1
回答已采纳
1回答
错误:打开缓存(E:在源列表/etc/apt/ source .list.d/r-ran.list第1行中不知道'sudo‘类型
16.04、apt、package-management、r
我在一个以前的职位上尝试了最佳答案的说明，但没有成功。我使用的是ubuntu 16.04.6 LTS 64位。我不知道如何进入存储库，也不知道如何报告。我该如何解决这个问题？我还尝试了此链接上的说明，复制源代码并粘贴到终端，这可能不是如何做到这一点，但我不知道如何访问/etc/apt/sources.list文件。@heynnema，当我运行代码时，它
浏览 0提问于2020-03-23得票数 0
回答已采纳
1回答
是否有类似head的命令，但用于行截断？
text-processing、software-rec
Linux的head从文件的顶部选择许多行。是否有命令从一行前面选择多个字符？问题背后的用例是这样的:我想从一个文件中head前10行，但是这10行中的每一行都非常长，包含了大量的空白，因此很难分辨出行符的位置。如果我可以head前10行，
浏览 0提问于2012-10-03得票数 9
回答已采纳
3回答
通过解析/bin/ps的输出获得PID
c、pid
在C程序中，我逐行读取/bin/ps -fu1000的输出，并搜索字符串，例如"gnome“。当我找到字符串(gnome)时，如何得到pid？整个行保存在一个char buf256中。是的，这是家庭作业的一部分。
我不得不使用C。任务的目标是编写一个程序，该程序将发送信号给正在运行的进程，其中包含一个指定<e
浏览 7提问于2011-06-24得票数 1
回答已采纳
1回答
如何比较Solaris和Linux的文件
linux、solaris
为了测试目的，我想比较Solaris和Linux中存在的相同文件的内容。我有任何可用的工具。如果我想开发新工具，我能做到这一点吗？
我们正在将项目从Solaris迁移到Linux。我们希望通过比较最终的输出是否存在二进制格式。这两个文件都在不同的系统中。请给我建议一下我们将如何进行比较。
浏览 0提问于2017-01-02得票数 -1
3回答
用Python记录和旋转stdout和stderr
python、linux、python-2.7
我是一个Linux新手，我运行以下Linux命令：而且一切都按预期工作；我的python (2.7) print语句的所有输出都记录在名为my.out的文件中。唯一的问题是，在运行文件几天之后，my.out变得非常大。有没有办法(在Linux级
浏览 6提问于2017-06-29得票数 2
回答已采纳
3回答
我们正在尝试从一个非常大的文件中获取大约1M的随机行，该文件中可能有大约3M条记录。所选的随机行需要写入第三个文件。你对我们有什么建议吗？
浏览 0提问于2016-10-20得票数 0
2回答
如何根据内容对文本文件进行重命名？
linux、file、rename
我的操作系统是Ubuntu；我有一个包含文本文件的目录；每个文件都有一行唯一的ID行位置在文本文件中是随机的，但是很容易将其识别为简单的正则表达式如何根据ID重命名文件？也就是说，每个文件都必须获得一个</
浏览 3提问于2011-10-12得票数 0
4回答
用Java读取文本文件
java、file-io、text-files
我有一个文本文件。我想从一行到另一行检索内容。例如，文件可能有200K行。我想读取从第78行到第2735行的内容。由于文件可能非常大，我不想将整个内容读取到内存中。
浏览 0提问于2010-04-26得票数 3
回答已采纳
2回答
如何在oracle中将所有约束和数据从一个模式复制到另一个模式
oracle、constraints、unique-key
我需要将一个表和数据(40M)从一个方案复制到另一个方案(prod to test)。然而，有一个唯一的键(不是这个表的PK )叫做record_Id col，它的数据类似于3.000*19E15。大约2M行有相同的数字(我相信这是因为非常大的数字)，这在prod中是唯一的。当我试图复制它时，它违背了该列<em
浏览 5提问于2018-12-26得票数 0
2回答
MySQL是否适用于此？
mysql
我需要存储“数据块”，这些数据可能有数千行x可能每行有30个数字。
我的概念是将这些块中的每一个存储在一个单元中。一个表可能包含50列和20行。因此，每个表可能有1000个数据块。如果没有，你能推荐一种不同的方式来组织这些数据--或者另一个数据库吗？
浏览 0提问于2015-11-19得票数 1
2回答
Node.js "readline“+ "fs. createReadStream”：指定起始行号和结束行号
node.js、fs、large-files、node-streams、large-file-support
提供此解决方案，用于逐行读取CSV这样的大型文件：const { createInterface } = requireconsole.log('File processed.'); console.error(err);})();
但我不想从头到尾阅读整个文件，但部分内容是从第1行到第10000行、第20000行<
浏览 2提问于2021-06-30得票数 0
回答已采纳
1回答
NIS:哪种机制为非特权用户隐藏shadow.byname？
linux、security、unix、nis、shadow
在一些Linux (SLES11.1)上，它是一个NIS客户端，我可以作为root用户：并获得输出，即一些带有加密密码的行，以及其他信息。在同一个Linux机器上，如果我运行与非特权用户相同的命令，我将得到
No such map shadow.byname.我的老生常谈说，NIS中的影子密码是荒谬的，因
浏览 0提问于2012-12-04得票数 3
2回答
在Linux中:合并两个非常大的文件
linux、merge、bigdata
我想合并两个文件(一个是空格分隔的，另一个是标签分隔的)，只保留两个文件之间匹配的记录：A B C D E F G Hr d id_456 h 3 9 10s f id_67 2 y 10 3 0I L M N O P
浏览 8提问于2014-01-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
