文章/答案/技术大牛

发布

社区首页 >问答首页 >通过shell脚本查找csv中的重复记录(Ubuntu)

问通过shell脚本查找csv中的重复记录(Ubuntu)
EN

Stack Overflow用户

提问于 2018-11-19 18:28:25

回答 1查看 74关注 0票数 2

我有低于csv的

name,mobile
name1,123456
name2,98765
name1,123456
name3,98765
name1,123456
name4,344545443

如果两个记录具有可移动性，则该记录将被视为重复记录。但是，在打印重复记录时，第一条记录必须忽略

所以我的输出应该是这样

name,mobile
name1,123456
name1,123456
name2,98765

所以这里的123456是我的文件中的3次，但我只想为我打印两次，第一次出现是唯一的，所有其他事件都是重复的。

我试过了

awk -F, 'NR==FNR {++A[$2]; next} A[$2]>1'  file1.csv file1.csv

它给了我

name1,123456
name2,98765
name1,123456
name3,98765
name1,123456

它并不是忽略了第一次发生

请帮我一下

csv

awk

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-11-19 18:42:36

正如我理解您的问题一样，您希望输出第二个字段至少发生两次的记录，但不要输出第一个实例。

awk -F, '++seen[$2] > 1' file

给出你的样本数据，这个输出

name1,123456
name3,98765
name1,123456

这是输入数据中的第4、5、6行。

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/53380626

复制

相似问题

问通过shell脚本查找csv中的重复记录(Ubuntu)
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问通过shell脚本查找csv中的重复记录(Ubuntu)EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问通过shell脚本查找csv中的重复记录(Ubuntu)
EN