> 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas
前言
有时候数据中出现重复值,可能会导致最后的统计结果出现错误,因此,查找和移除重复值是数据处理中的常见操作。今天我们来看看 pandas 中是如何实现。
Excel 处理重复值
Excel 中直接提供了去除重复的功能,因此简单操作即可实现。如下:
> 除此之外,Excel 中还可以使用条件格式、高级筛选或函数公式实现差不多的功能
pandas 标记重复值
pandas 中同样提供一个简单方法标记出重复值,并且比 Excel 有更多灵活处理方式供你选择,我们来看看:
我们可以指定,当有重复值时,保留哪个位置的行。如下:
除此之外,我们还可以把 keep 参数设置为 False,意思是"不保留",如下:
通过参数 subset 可以指定哪些列作为判断依据:
像 Excel 一样去除重复
其实把重复值标记后,只需要简单筛选即可得到非重复的记录。但是 pandas 中有直接的方法去除重复。如下:
最后
下一节,将看看排序功能的实现。敬请关注。
**如果希望从零开始学习 pandas ,那么可以看看我的 pandas 专栏。**