python 使用pandas 去除csv重复项

kirin

发布于 2021-04-19 16:29:02

5.2K0

发布于 2021-04-19 16:29:02

文章被收录于专栏：Kirin博客Kirin博客

用pandas库的.drop_duplicates函数

代码如下：

1 import shutil
2 import pandas as pd
3 
4 
5 frame=pd.read_csv('E:/bdbk.csv',engine='python')
6 data = frame.drop_duplicates(subset=['名称'], keep='first', inplace=False)
7 data.to_csv('E:/baike.csv', encoding='utf8')

.drop_duplicates有三个参数

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)

如subset=[‘A’,’B’]去A列和B列重复的数据

参数如下：

subset : column label or sequence of labels, optional 用来指定特定的列，默认所有列 keep : {‘first’, ‘last’, False}, default ‘first’ 删除重复项并保留第一次出现的项 inplace : boolean, default False 是直接在原来数据上修改还是保留一个副本

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2021-04-15 ，如有侵权请联系 cloudcommunity@tencent.com 删除

boolean