使用nunique标记数据帧中的重复值但得到错误
。
nunique是pandas库中的一个函数，用于计算数据帧中唯一值的数量。然而，在使用nunique函数标记数据帧中的重复值时，可能会出现错误。这种错误通常是由于数据的不一致性或数据类型的问题导致的。
要解决这个问题，可以采取以下步骤：
- 检查数据类型：确保要操作的列具有正确的数据类型。例如，如果要计算字符串列的唯一值数量，确保该列的数据类型为字符串而不是对象。
- 数据清洗：在使用nunique函数之前，先对数据进行清洗，确保数据的一致性和完整性。可以使用drop_duplicates函数删除重复的行，或者使用fillna函数填充缺失值。
- 数据转换：如果数据包含非数值类型的列，可以考虑将其转换为数值类型。可以使用astype函数将列转换为适当的数据类型，以便nunique函数能够正确计算唯一值的数量。
- 数据筛选：在使用nunique函数之前，可以使用条件筛选数据，以便仅计算特定条件下的唯一值数量。可以使用布尔索引或query函数来筛选数据。
- 数据预览：在使用nunique函数之前，可以先使用head函数或sample函数预览数据，确保数据的格式和内容符合预期。
总结起来，解决使用nunique标记数据帧中的重复值得到错误的问题，需要检查数据类型、进行数据清洗、数据转换、数据筛选和数据预览等步骤。通过这些步骤，可以确保nunique函数正确计算数据帧中的唯一值数量，并避免错误的发生。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库：https://cloud.tencent.com/product/cdb
- 腾讯云服务器：https://cloud.tencent.com/product/cvm
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网：https://cloud.tencent.com/product/iot
- 腾讯云移动开发：https://cloud.tencent.com/product/mobdev
- 腾讯云存储：https://cloud.tencent.com/product/cos
- 腾讯云区块链：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙：https://cloud.tencent.com/product/mu
相关·内容
我有一个数据帧df，我需要找出是否有一些player_id在这个季节改变了它的team值： player_id team
1 Liverpool
2 Manchester
1 Liverpool
2 Manchester
1 Liverpool
2 Tottenham 要查找重复的对，我只需： duplicate = df[df.duplicated(['player_id', 'team'])] 但数据帧通常有重复的对。 我需要找到一个player_id有
浏览 22提问于2020-12-08得票数 1
回答已采纳
1回答
我有一个分类任务，这意味着冲突会损害性能，即相同的功能但不同的标签。 idx feature label
0 a 0
1 a 1
2 b 0
3 c 1
4 a 0
5 b 0 我怎样才能得到如下格式化的数据帧？ idx feature label
2 b 0
3 c 1
5 b 0 Dataframe.duplicated()只输出重复的行，似乎df["features"].dupl
浏览 14提问于2020-10-21得票数 0
回答已采纳
2回答
我有一个问题，如何计算在熊猫数据帧的每一列中出现的唯一值的数量？
假设我有一个名为df的数据框架，如下所示：
1 2 3 4
a yes f c
b no f e
c yes d h
我希望得到显示四列中唯一值的频率的输出。输出将类似于以下内容：
Column # of Unique Values
1 3
2 2
3 2
4 3
我不需要知道唯一的值是什么，只是每个列中有多少值。
我玩过这样的游戏：
df[all_cols].value_c
浏览 11提问于2016-04-07得票数 2
回答已采纳
1回答
我有以下数据帧： dct ={'store':('A','A','A','A','A','B','B','B','C','C','C'),
'station':('aisle','aisle','aisle','window','window','aisle','aisle&
浏览 23提问于2020-09-05得票数 3
回答已采纳
我有一个包含四个特征列和一个标签列的pandas数据帧。数据集有一些问题。有些行具有相同的特征值，但标记方式不同。我知道如何查找多个列的重复项 df[df.duplicated(keep=False)] 但是，如何找到标签冲突的重复特征？ 例如，在数据帧中，如下所示 a b c label
0 1 1 2 y
1 1 1 2 x
2 1 1 2 x
3 2 2 2 z
4 2 2 2 z 我想输出以下内容 a b c label
浏览 92提问于2020-04-10得票数 2
回答已采纳
我像这样将CSV读入数据帧并运行info() dlqcsv = pd.read_csv(a1, sep=',', encoding ="ISO-8859-1", low_memory=False, index_col=False)
dd = dlqcsv.info(verbose=True)
dd.describe() 它产生： <class 'pandas.core.frame.DataFrame'>
RangeIndex: 504334 entries, 0 to 504333
Data columns (total 288 c
浏览 13提问于2020-01-05得票数 0
回答已采纳
我目前有以下数据：
SN Gender Purchase
Name 1 Female 1.14
Name 2 Female 2.50
Name 3 Male 7.77
Name 1 Female 2.74
Name 3 Male 4.58
Name 3 Male 9.99
Name 1 Female 5.55
Name 2 Female 1.20
我想弄清楚怎样才能从这样的桌子上
浏览 5提问于2020-10-30得票数 0
回答已采纳
我有一个数据帧，看起来像这样：
ID | Value
1 100
1 300
2 200
3 300
4 400
基本上，我正在努力实现这一点：
ID Distinct Count | Total Value
4 1300
所以你可以看到ID的总重复计数是4而不是5，因为1重复了两次。
我是用python写的：
df = df.aggregate({'Id':lambda x: x.nunique(), 'value': 'sum'});
但是这给了我一个'Data
浏览 1提问于2018-01-19得票数 1
回答已采纳
1回答
我对这件事有点陌生。目前，我正在用python中的数据框架进行实验，并且对某些内容有些执着。我需要得到数据帧中的列，这些列在它们的唯一排序元素之间有相同的区别。我可以在一个独立的代码中完成它，但是我想通过从文件中的数据帧中获取它来动态地完成它。
import numpy as np
import pandas as pd
first = [20, 10, 40, 30, 10]
sec = [94, 74, 34, 80]
df = pd.DataFrame([(first,sec) for first,sec in zip(first,sec)])
print(df)
cols = lis
浏览 2提问于2021-11-24得票数 1
回答已采纳
我想从pandas数据框中选择包含非重复项的列，并使用这些列组成一个子集数据框。例如，我有一个这样的数据框： x y z
a 1 2 3
b 1 2 2
c 1 2 3
d 4 2 3 列"x“和"z”具有非重复值，因此我希望将它们挑选出来并创建一个新的数据框，如下所示： x z
a 1 3
b 1 2
c 1 3
d 4 3 可以通过以下代码实现： import pandas as pd
df = pd.DataFrame([[1,2,3],[1,2,2],[1,2,3],[4,2,3]],index=['a
浏览 26提问于2019-03-22得票数 3
回答已采纳
1回答
这是我的数据帧df
CITY ID_C
abc 123
abc 123
abc 456
def 123
def 456
def 789
def 789
我需要计算按ID_C分组的CITY唯一值的数目。
CITY TOTAL_UNIQUE_COUNT
abc 2
def 3
我尝试了这段代码，但是得到了错误ValueError: cannot insert ID_CITIZEN, already exists
df.groupby('CITY').ID_C.value_counts().reset_index()
浏览 3提问于2017-04-20得票数 1
回答已采纳
3回答
目前我在一个数据库上工作，我试着用pandas对我的行进行排序。我有一个名为'sessionkey‘的列，它引用了一个会话。因此可以将每一行分配给一个会话。我尝试将数据分离到这些会话中。
此外，还可以有重复的行。我试着从pandas中删除那些带有drop_duplicates函数的代码。
df = pd.read_csv((path_of_data+'part-00000-9d3e32a7-87f8-4218-bed1-e30855ce6f0c-c000.csv'), keep_default_na=False, engine='python')
tmp
浏览 2提问于2019-04-02得票数 3
使用Python和Pandas，我希望找到数据帧中所有具有重复行的列，并将它们移动到另一个数据框架中。例如，我可能有：
cats, tigers, 3.5, 1, cars, 2, 5
cats, tigers, 3.5, 6, 7.2, 22.6, 5
cats, tigers, 3.5, test, 2.6, 99, 52.3
我想要猫，老虎，3.5在一个数据帧中
cats, tigers, 3.5
在另一个数据框架中，我想
1, cars, 2, 5
6, 7.2, 22.6, 5
test, 2.6, 99, 52.3
代码应该检查每一列是否重复行，并且只删除在所有行
浏览 2提问于2019-10-21得票数 0
回答已采纳
我想要为我的数据帧的特定列绘制每列唯一值的计数。 因此，如果我的数据帧有四列'col_a'，'col_b‘，'col_c’和‘col’，其中两列( 'col_a‘，'col_b')是分类特征，我想要一个条形图，在x轴上有'col_a’和'col_b‘，在y轴上有’col_a‘中唯一值的计数和'col_b’中唯一值的数量。 PS:我不想绘制特定列中每个唯一值的计数。 实际上，如何用python绘制条形图呢？ properties_no_na.nunique() 它返回： neighborhood
浏览 20提问于2019-06-03得票数 1
回答已采纳
我有一个数据框架，其中一列是帐户代码，第二列是描述，并且需要标记帐户代码存在多个描述的实例。例如，以此为例： Acc. Code Description
0 0001 Description 1
1 0002 Description 2
2 0002 Description 2
3 0003 Description 3
4 0003 Desc. 3
5 0004 Description 4
6 0005 Description 5
7 0006 Description 6
8 0
浏览 26提问于2021-08-19得票数 1
回答已采纳
我有一个很大的数据帧df1，看起来像这样：
DeviceID Location
1 Internal
1 External
2 Internal
2 Internal
3 Internal
3 External
3 Internal
4 Internal
4 Internal
5 External
5 In
浏览 0提问于2019-09-25得票数 2
假设我有这个数据帧 length width output
0 1.5 0.20 3
1 1.5 0.20 3
2 1.2 0.15 4
3 1.2 0.15 5
4 3.0 1.10 1
5 2.0 1.00 3
6 2.0 1.00 4 我想在数据帧上循环，检查是否有长度和宽度值相同而输出不同的行，并将其写入新的数据帧中。例如，我希望输出到两个单独的数据帧，第一个是： length width output
2 1.2 0.15 4
3 1.2 0.15 5 第二个是：
浏览 17提问于2020-11-05得票数 1
对于数据帧中的每个ID，我希望排除特定二进制变量("Y")中具有相同值的行。这意味着如果ID在Y中得到相同的值(只有0或只有1)，那么应该排除它。
数据说明：
ID X Y
a .. 0
a .. 0
a .. 0
b .. 1
b .. 0
b .. 1
b .. 0
c .. 1
c .. 1
c .. 1
c .. 1
预期结果：
ID X Y
b .. 1
b .. 0
b .. 1
b .. 0
浏览 1提问于2019-09-12得票数 2
回答已采纳
3回答
我有一个从csv文件读取的Dataframe文件，有大约100万条记录和120个特性/列，我想在每一列中计算唯一值的数量。我可以使用for -循环分别为每一列执行此操作：
from dask import dataframe as dd
dask_df = dd.read_csv("train.csv")
for column in dask_df.columns:
print(dask_df[col].nunique().compute())
但是每次迭代时的计算都是非常昂贵的(每个工作人员拥有2GB的内存和2个vcore，每个工作人员有3个节点集群，每个工作人员需
浏览 4提问于2021-11-11得票数 0
如果你有一个基于dask数据帧的groupby对象，为什么len(<groupby object>)会返回一个错误？(错误或功能)
浏览 13提问于2018-02-11得票数 5
回答已采纳
2回答
我有个数据框，df1
Date inp name
0 2017-08-07 2.3.6 ABC
1 2017-08-07 2.3.6 ABC
2 2017-08-08 2.3.6 TAC
3 2017-08-22 2.5.9 TTT
4 2017-09-23 0.8.0 TAC
5 2017-10-09 2.3.6 ABC
6 2017-10-09 2.3.6 TAC
7 2017-10-09 2.3.6 TAC
浏览 1提问于2018-01-12得票数 1
回答已采纳
1回答
我正在尝试从现有的数据帧创建一个新的数据帧。我尝试了groupby，但我似乎没有将字符串总结为一个整数。相反，它返回了许多字符串(在本例中是学院)。
如何在新列“totalPlayer”中以整数形式返回学院数量？请帮帮忙。
浏览 2提问于2019-05-13得票数 0
2回答
我有一个数据帧，我想在其中仅跨组删除重复项。
A B C D
0 1 0 2 Group 1
1 1 1 1 Group 2
2 1 1 1 Group 2
3 1 1 1 Group 2
4 3 8 3 Group 2
5 3 8 3 Group 1
6 2 9 1 Group 2
7 2 9 1 Group 1
8 1 0 2 Group 1
在上面的数据框中，我需要以下输出：
A B C D
0 1 0 2 Group 1
1 1 1 1 Group 2
2 1 1
浏览 0提问于2020-06-24得票数 2
1回答
我有一个这样的数据帧：
Id Name site status
1995 sachin http://www.abcd.co closed
1996 sachin http://www.abcd.co working
1997 sourav http://www.abcd.co closed
1998 sourav http://www.abcd.co working
我想找出对于给定的名称，哪些列可能会有所不同。在本例中，对于每个名称，站点都是相同的(它始终是http://www.abc
浏览 15提问于2018-07-10得票数 -3
回答已采纳
我有一个数据帧，看起来像这样：
| id | col1 | col2 | col3 | col4 |
|------|------|------|------|------|
| 1 | A | B | C | 0 |
| 2 | M | 0 | M | 0 |
| 3 | B | B | 0 | B |
| 4 | X | 0 | Y | 0 |
我想忽略那些在各自的列中只有一个唯一值的行。我会得到这样的结论：
| id | col1 | col2 | col3 |
浏览 0提问于2016-08-19得票数 2
我有一个由ID索引的python数据帧，其中每个ID出现多次。我想按ID对我的数据进行分组，检查每个ID是否有多个“源”，然后过滤我的原始数据，使其只包含ID只有一个源的行。
我想我可以这样做，第一行获得要过滤的it列表，第二行进行过滤：
df_onesourceids=df.reset_index().groupby('ID').apply(lambda d: d.my_source.nunique()).where(lambda x : x==1).dropna()
df=df.loc[df_onesourceids.index.tolist()]
这以交互方式工作，但是当
浏览 0提问于2017-12-15得票数 0
我有一个数据框架，df，我希望获取其中的所有列和其中唯一值的计数，并将其保存为另一个数据框架。我似乎想不出办法来做到这一点。然而，我可以在控制台上打印我想要的内容。我的意思是：
def counting_unique_values_in_df(df):
for evry_colm in df:
print (evry_colm, "-", df[evry_colm].value_counts().count())
我想要的都印好了。如果我执行类似newdf = pd.DataFrame(evry_colm, df[evry_colm].value_cou
浏览 3提问于2019-03-07得票数 0
回答已采纳
让我们以这个示例数据帧为例： df=pd.DataFrame({'Name':['A','A','A','B','C','C','D','D'], 'Value':["6","2","1","1","2","2","3","2"]})
Name Value
0 A 6
1 A
浏览 42提问于2021-07-09得票数 1
回答已采纳
我想得到每个article_id的重复数，在每个merchant_id中，zip_code是不相同的。请参阅下面的例子：
表
merchant_id article_id zip_code
1 4555 1000
1 4555 1003
1 4555 1002
1 3029 1000
2 7539 1005
2 7539
浏览 2提问于2020-05-18得票数 0
回答已采纳
我有一个多个数据帧的列表，我试图从列表中删除任何不符合条件的数据帧，即它们必须有超过1000个唯一ID。
每个数据帧都有几个列(包括ID )，总共有14个数据帧组成列表。
我发现这段代码适用于列表中的特定项，但我希望找到一个更好的解决方案，它不需要我循环遍历列表中的项：
[i for i in list if list[0]['ID'].nunique() > 1000]
所有的建议非常欢迎，谢谢您的帮助。
浏览 2提问于2021-05-24得票数 1
回答已采纳
1回答
如您所见，我有三个数据帧。 我打印了有关值的所有信息，如下所示： print("Amount of cardids " , df_x['Carid'].nunique())
print("Amount of carnames " , df_x['Carname'].nunique())
print("Amount of models" , df_x['model'].nunique()) 现在我想把它们打印成条形图。 📷 如您所见，我希望将所有数据帧打印在一个条形图中，这样您就可以看到字段
浏览 19提问于2020-11-01得票数 0
回答已采纳
做一些数据清理工作。
在对A列的所有重复实例中B列中的值相同的情况下，我很难解析出重复行的值。我希望保留重复项，然后在以后的步骤中删除重复的行，因此我将在每组col /col的每个组合中得到一行。目前，我只想要我感兴趣的行。
示例dataframe：
A B
1 1
1 1
1 2
1 2
2 5
2 5
2 5
在上面的例子中，我只想维护2和5的行，因为在2的所有实例中，5的值是相同的。当您查看1的实例时，它在技术上是重复的，但是它在1 (1和2)的所有实例中有两个不同的值。
我想要达到的目标的例子：
A B
2
浏览 3提问于2021-12-08得票数 1
回答已采纳
我希望通过将列减少为只有1个唯一值的列来过滤数据帧。
获取以下数据帧：
df = pd.DataFrame({'id':[4, 5],
'id2':[4, 4],
'prod':['prod1', 'prod1'],
'amount':[45.0, 45.0],
'date':['2018-06-06&#
浏览 0提问于2018-06-26得票数 1
1回答
我试图使用duplicated来查找仅基于两列的数据帧中重复的行。
当我将任何内容传递到incomparables参数时，就会得到错误
dups = duplicated(data, incomparables="Age")
...
argument 'incomparables != FALSE' is not used (yet)
我搞不懂这个。
似乎也遇到了类似的问题，但没有回应。
毫无疑问，有一种不同的方式来做同样的事情，这也是一个很好的了解，因为我是一个初学者R。
浏览 3提问于2015-04-19得票数 3
回答已采纳
1回答
我想要计算数据帧中每一列的平均值。假设我有一个这样的数据帧：
import pandas as pd
df = pd.DataFrame({'A':[1,2,3],
'B':[4,4,4],
'C':[7,8,9],
'D':[3,3,3]})
print(df)
A B C D
0 1 4 7 3
1 2 4 8 3
2 3 4 9 3
我想得到平均值为2，1，8，1
浏览 0提问于2018-09-16得票数 0
我有个数据：
Id name value
0 1 aaa x
1 2 aaa y
2 3 aaa z
3 4 ddd t
4 5 ddd t
5 6 fff j
6 7 ggg m
7 8 ggg n
我只想找到名称是重复的行，对于这些重复行，值是不同的。
预期输出:
Id name value
0 1 aaa x
1 2 aaa y
2 3 aaa z
3 7 ggg m
4 8 ggg n
我在试着和
df.groupby('name')
这个群函
浏览 0提问于2016-09-14得票数 1
回答已采纳
1回答
在列中所有值都相等的熊猫切分值
、、、、
假设我有一个有3列的dataframe，如下例所示。我正在寻找一种Pandaic/Pythonic的方法来获取数据帧的一部分，其中所有三列列都具有相同的值。在这种情况下，我希望得到的结果是一个只有0行和第3行的数据文件。除了蛮力之外，还有其他人有很好的方法吗？
import pandas as pd
df1=pd.DataFrame({'Col1' : [1, 2, 3, 'foo'],
'Col2' : [1, 4, 5, 'foo'],
'Col
浏览 1提问于2017-12-13得票数 1
回答已采纳
1回答
我有这样一只熊猫：
a b c
0 1 1 1
1 1 1 0
2 2 4 1
3 3 5 0
4 3 5 0
其中前2列('a‘和'b')是is，而最后一个列('c')是验证(0 = neg，1= pos)。我知道如何根据前2列的值删除重复数据，但是在这种情况下，我也希望消除不一致的数据，即被验证为正和负的重复数据。因此，例如，前2行是重复的，但不一致，因此我应该删除整个记录，而最后2行既重复又一致，所以我保留其中一条记录。预期的结果是：
a b c
0 2 4 1
1 3 5 0
浏览 2提问于2019-04-09得票数 3
回答已采纳
1回答
我得到了错误：
count() got an unexpected keyword argument 'axis'
据我所研究，这是由过时的熊猫版本造成的，但当我运行pd.__version__时，我得到了1.2.3版
发生错误的代码：
bdf = df.loc[df['Responsible Party'] == name]
bdf = bdf.sort_values('Date')
bdf['Patient'] = bdf['Patient'].str.replace(' ', '
浏览 2提问于2021-03-29得票数 0
回答已采纳
我有一个数据集，其中包含超过150.000条电视节目数据记录，数十个频道，但并不是所有频道都有所有天的数据。
我想按频道、年份和月份对它们进行分组，计算每个频道每个月有多少天的记录。
这里是数据帧的一小部分
df = pd.DataFrame(
{"channel": {"631": "CBR", "632": "CBR", "633": "CBR"}, "year": {"631": "2014", "632
浏览 0提问于2016-12-12得票数 2
我想要查找包含pandas数据框中除NaN以外的所有非重复项的列。
x y z
a 1 2 A
b 2 2 B
c NaN 3 D
d 4 NaN NaN
e NaN NaN NaN
列"x“和"z”具有除NaN之外的非重复值，因此我希望将它们挑选出来并创建一个新的数据框。
浏览 16提问于2020-05-14得票数 1
回答已采纳
我有一个如下的数据框架。
Date Fruit level_0 Num Color
0 2013-11-25 Apple DF2 22.1 Red
1 2013-11-24 Banana DF1 22.1 Yellow
2 2013-11-24 Banana DF2 122.1 Yellow
3 2013-11-23 Celery DF1 10.2 Green
4 2013-11-24 Orange DF1 8.6 Orange
5 201
浏览 0提问于2020-06-08得票数 0
2回答
我的数据帧如下所示 ID Stage Recipe
1 ABC X
1 ABC D
1 ABC D
1 ABC D
2 ABC X
2 ABC X
1 BCD Y
1 CDE Y 我想要的是为一个特定的ID计算在特定阶段(相当于返工)出现多次的Recipe。 因此，此数据帧的输出应如下所示： ID Rework_steps
1 2
2
浏览 18提问于2020-10-11得票数 2
我有一个多索引的pandas数据帧，我把它切成了以下几部分： idx = pd.IndexSlice
slice = data.loc[:, idx[1, ['Gx', 'Gy', 'Gz'], 'value']] 1
Gx Gy Gz
value value value
0 -26 37 -72
1 -28 37 -72
2 -27 37 -71
3
浏览 57提问于2019-05-14得票数 0
回答已采纳
假设我有这样一个df：
import pandas as pd
data = {"name": ["nameA", "nameB", "nameC", "nameD", "nameA", "nameB", "nameC", "nameD", "nameE", "nameA", "nameC", "nameD"],
"id": [100, 200, 30
浏览 4提问于2021-10-16得票数 1
回答已采纳
我有一个数据帧，结构如下： df = pd.DataFrame({'id_emp':[13524791000109, 12053850000137, 4707821000113, 4707821000112,4707821000114, 5707821000114, 5707821000114, 5707821000114],
'name_dep': ['DIONILSO MATEUS MARCON', 'JOSE AUGUSTO ROSA', 'LUCIO ANTONIO MOSQUINI', &
浏览 28提问于2019-06-04得票数 0
回答已采纳
数据帧：
id name count
123 ssdf 1
123 wasdfasdf 1
234 ewdd 0
345 efdfg 2
345 efg 1
345 gfdfg 1
456 gfdfg 1
456 ffg 1
567 vd 3
这里有id和count列，有多少个id，count是1。如果一个id有1,1,1，那么我需要在结果列表中包含这个id。如果id是0,1,1，那就没关系了。如果id是0,3,0，那么没关系。
预期结果：
list_1 = [
浏览 15提问于2020-05-05得票数 3
回答已采纳
2回答
我有以下数据帧
我需要统计一下2018年的2019年有多少个独特的值。在这种情况下，计数是3 (A，B，C从2018年结转到2019 )。我该怎么处理熊猫呢？
浏览 9提问于2020-06-09得票数 0
1回答
假设我有以下数据帧： df2 = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
'foo', 'bar', 'foo', 'foo'],
'B' : ['one', 'one', 'two', 'three',
浏览 54提问于2020-01-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
即时通信 IM活动推荐
腾讯云开发者
