我有数据分组,并分成培训和测试集。我希望计算z-scores。在训练集上,这很容易,因为我可以使用内置函数来计算均值和标准差。
下面是一个示例,我正在按位置查找z-得分:将熊猫作为pd导入numpy作为np #我的示例dataframe。
train = pd.DataFrame({'place': ['Winterfell','Winterfell','Winterfell','Winterfell','Dorne', 'Dorne','Dorne'],
'temp' : [ 23 , 10 , 0 , -32, 90, 110, 100 ]})
test = pd.DataFrame({'place': ['Winterfell', 'Winterfell', 'Dorne'],
'temp' : [6, -8, 100]})
# get the z-scores by group for the training set
train.loc[: , 'z' ] = train.groupby('place')['temp'].transform(lambda x: (x - x.mean()) / x.std())现在,培训数据采用了以下形式:
| Place | temp | z |
|------------|------|-------|
| Winterfell | 23| 0.969 |
| Winterfell | 10| 0.415 |
| Winterfell | 0|-0.011 |
| Winterfell | -32|-1.374 |
| Dorne | 90| 1.000 |
| Dorne | 110|-1.000 |
| Dorne | 100| 0.000 | 这就是我想要的。
问题是,我现在想使用与训练集的平均值和标准偏差来计算测试集中的z分数。我可以很容易地得到平均值和标准差:
summary = train.groupby('place').agg({'temp' : [np.mean, np.std]} ).xs('temp',axis=1,drop_level=True)
print(summary)
mean std
place
Dorne 100.00 10.000000
Winterfell 0.25 23.471614我有一些复杂的方法来做我想做的事情,但由于这是我必须经常做的一项任务,我正在寻找一种整洁的方法来完成它。以下是我到目前为止尝试过的:
dict,在这里我可以将平均值和标准删除提取为元组。然后在测试集上,我可以做一个申请:
test.loc:,'z‘=test.apply(λ行:(row.temp - dictrow.place) / dictrow.place,轴= 1)为什么我不喜欢它:
dict的结构是什么。1. Using an indextest.set_index('place',inplace = True) test.loc:,'z‘=(test’‘temp’-摘要‘均’)/摘要‘’std‘
为什么我不喜欢它?-看起来应该管用,但却只给了我奶奶。
最终的结果应该是,是否有一种标准的节奏曲方式来进行这种组合?
发布于 2017-08-29 22:28:39
选项1
pd.Series.map
test.assign(z=
(test.temp - test.place.map(summary['mean'])) / test.place.map(summary['std'])
)
place temp z
0 Winterfell 6 0.244977
1 Winterfell -8 -0.351488
2 Dorne 100 0.000000选项2
pd.DataFrame.eval
test.assign(z=
test.join(summary, on='place').eval('(temp - mean) / std')
)
place temp z
0 Winterfell 6 0.244977
1 Winterfell -8 -0.351488
2 Dorne 100 0.000000https://stackoverflow.com/questions/45949160
复制相似问题