删除重复行而不排序
删除重复行而不排序
提问于 2012-07-18 07:14:11
我在Python中有一个实用程序脚本：
#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
if line in unique_lines:
duplicate_lines.append(line)
else:
unique_lines.append(line)
sys.stdout.write(line)
# optionally do something with duplicate_lines这个简单的功能(不需要首先排序的uniq，稳定的排序)必须作为一个简单的UNIX实用程序提供，不是吗？也许是管子里的过滤器的组合？
问的理由:在一个我不能从任何地方执行Python的系统上需要这个功能。
Stack Overflow用户
发布于 2013-12-18 00:39:12
一个迟来的答案--我刚刚遇到了一个副本--但也许值得补充一下……
@1_CR答案背后的原则可以写得更简洁，使用cat -n而不是awk来添加行号：
cat -n file_name | sort -uk2 | sort -n | cut -f2-- 使用
cat -n -
sort -u删除重复数据(-k2表示‘排序关键字从字段2开始’) - 使用D12按预置编号进行排序H213H114使用D15删除行号(D16表示‘选择字段2直到结束’)H217F218
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/11532157
复制相关文章
相似问题
腾讯云开发者
