首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Pandas中的测试数据中查找z-分数数据

问在Pandas中的测试数据中查找z-分数数据
EN

Stack Overflow用户
提问于 2017-08-29 22:24:29
回答 1查看 3.8K关注 0票数 3

我有数据分组,并分成培训和测试集。我希望计算z-scores。在训练集上,这很容易,因为我可以使用内置函数来计算均值和标准差。

下面是一个示例,我正在按位置查找z-得分:将熊猫作为pd导入numpy作为np #我的示例dataframe。

代码语言:javascript
复制
train = pd.DataFrame({'place':     ['Winterfell','Winterfell','Winterfell','Winterfell','Dorne', 'Dorne','Dorne'],
                      'temp' : [ 23 , 10 , 0 , -32, 90, 110, 100 ]})
test  = pd.DataFrame({'place': ['Winterfell', 'Winterfell', 'Dorne'],
                      'temp' : [6, -8, 100]})

# get the z-scores by group for the training set
train.loc[: , 'z' ] = train.groupby('place')['temp'].transform(lambda x: (x - x.mean()) / x.std())

现在,培训数据采用了以下形式:

代码语言:javascript
复制
|    Place   | temp |   z   |
|------------|------|-------|
| Winterfell |    23| 0.969 |
| Winterfell |    10| 0.415 |
| Winterfell |     0|-0.011 |
| Winterfell |   -32|-1.374 |
|      Dorne |    90| 1.000 |
|      Dorne |   110|-1.000 |
|      Dorne |   100| 0.000 | 

这就是我想要的。

问题是,我现在想使用与训练集的平均值和标准偏差来计算测试集中的z分数。我可以很容易地得到平均值和标准差:

代码语言:javascript
复制
summary = train.groupby('place').agg({'temp' : [np.mean, np.std]} ).xs('temp',axis=1,drop_level=True)

print(summary)

          mean        std
place                        
Dorne       100.00  10.000000
Winterfell    0.25  23.471614

我有一些复杂的方法来做我想做的事情,但由于这是我必须经常做的一项任务,我正在寻找一种整洁的方法来完成它。以下是我到目前为止尝试过的:

  1. 从汇总表中创建一个字典dict,在这里我可以将平均值和标准删除提取为元组。然后在测试集上,我可以做一个申请: test.loc:,'z‘=test.apply(λ行:(row.temp - dictrow.place) / dictrow.place,轴= 1)

为什么我不喜欢它:

  • 字典使人难以阅读,需要知道dict的结构是什么。
  • 如果某个位置出现在测试集中,而不是训练集中,则代码将抛出一个错误,而不是获得一个NaN。
代码语言:javascript
复制
1. Using an index

test.set_index('place',inplace = True) test.loc:,'z‘=(test’‘temp’-摘要‘均’)/摘要‘’std‘

​

为什么我不喜欢它?-看起来应该管用,但却只给了我奶奶。

最终的结果应该是,是否有一种标准的节奏曲方式来进行这种组合?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-08-29 22:28:39

选项1

pd.Series.map

代码语言:javascript
复制
test.assign(z=
    (test.temp - test.place.map(summary['mean'])) / test.place.map(summary['std'])
)

        place  temp         z
0  Winterfell     6  0.244977
1  Winterfell    -8 -0.351488
2       Dorne   100  0.000000

选项2

pd.DataFrame.eval

代码语言:javascript
复制
test.assign(z=
    test.join(summary, on='place').eval('(temp - mean) / std')
)

        place  temp         z
0  Winterfell     6  0.244977
1  Winterfell    -8 -0.351488
2       Dorne   100  0.000000
票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/45949160

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档