在groupby应用操作期间追加列
在groupby应用操作期间追加列
提问于 2016-03-10 18:11:30
上下文
我有几组数据(由3列w/i定义为dataframe)，并希望执行线性拟合和每个组，然后追加估计值( fit的下界+上界)。
问题
执行操作后，我会得到一个与最终数据文件和原始数据文件的形状相关的错误。
演示问题的示例：
from io import StringIO # modern python
#from StringIO import StringIO # old python
import numpy
import pandas
def fake_model(group, formula):
# add the results to the group
modeled = group.assign(
fit=numpy.random.normal(size=group.shape[0]),
ci_lower=numpy.random.normal(size=group.shape[0]),
ci_upper=numpy.random.normal(size=group.shape[0])
)
return modeled
raw_csv = StringIO("""\
location,days,era,chemical,conc
MW-A,2415,modern,"Chem1",5.4
MW-A,7536,modern,"Chem1",0.21
MW-A,7741,modern,"Chem1",0.15
MW-A,2415,modern,"Chem2",33.0
MW-A,2446,modern,"Chem2",0.26
MW-A,3402,modern,"Chem2",0.18
MW-A,3626,modern,"Chem2",0.26
MW-A,7536,modern,"Chem2",0.32
MW-A,7741,modern,"Chem2",0.24
""")
data = pandas.read_csv(raw_csv)
modeled = (
data.groupby(by=['location', 'era', 'chemical'])
.apply(fake_model, formula='conc ~ days')
.reset_index(drop=True)
)这就产生了一个很长的追溯过程，关键是：
[snip]
C:\Miniconda3\envs\puente\lib\site-packages\pandas\core\internals.py in construction_error(tot_items, block_shape, axes, e)
3880 raise e
3881 raise ValueError("Shape of passed values is {0}, indices imply {1}".format(
-> 3882 passed,implied))
3883
3884
ValueError: Shape of passed values is (8, 9), indices imply (8, 6)据我了解，我添加了三列，因此形状为(8，9) vs (8，6)。
我不明白的是，如果我以最轻微的方式检查dataframe子群，就不会产生上述错误：
def fake_model2(group, formula):
_ = group.name
return fake_model(group, formula)
modeled = (
data.groupby(by=['location', 'era', 'chemical'])
.apply(fake_model2, formula='conc ~ days')
.reset_index(drop=True)
)
print(modeled)它产生：
location days era chemical conc ci_lower ci_upper fit
0 MW-A 2415 modern Chem1 5.40 -0.466833 -0.599039 -1.143867
1 MW-A 7536 modern Chem1 0.21 -1.790619 -0.532233 -1.356336
2 MW-A 7741 modern Chem1 0.15 1.892256 -0.405768 -0.718673
3 MW-A 2415 modern Chem2 33.00 0.428811 0.259244 -1.259238
4 MW-A 2446 modern Chem2 0.26 -1.616517 -0.955750 -0.727216
5 MW-A 3402 modern Chem2 0.18 -0.300749 0.341106 0.602332
6 MW-A 3626 modern Chem2 0.26 -0.232240 1.845240 1.340124
7 MW-A 7536 modern Chem2 0.32 -0.416087 -0.521973 -1.477748
8 MW-A 7741 modern Chem2 0.24 0.958202 0.634742 0.542667问题
我的工作感觉太麻烦了，无法在任何现实世界的应用程序中使用。是否有更好的方法来应用我的模型，并在更大的数据帧中包含对每个组的最佳拟合估计？
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-03-10 21:17:04
耶，有一个没有恶意的解决办法。
In [18]: gr = data.groupby(['location', 'era', 'chemical'], group_keys=False)
In [19]: gr.apply(fake_model, formula='')
Out[19]:
location days era chemical conc ci_lower ci_upper fit
0 MW-A 2415 modern Chem1 5.40 -0.105610 -0.056310 1.344210
1 MW-A 7536 modern Chem1 0.21 0.574092 1.305544 0.411960
2 MW-A 7741 modern Chem1 0.15 -0.073439 0.140920 -0.679837
3 MW-A 2415 modern Chem2 33.00 1.959547 0.382794 0.544158
4 MW-A 2446 modern Chem2 0.26 0.484376 0.400111 -0.450741
5 MW-A 3402 modern Chem2 0.18 -0.422490 0.323525 0.520716
6 MW-A 3626 modern Chem2 0.26 -0.093855 -1.487398 0.222687
7 MW-A 7536 modern Chem2 0.32 0.124983 -0.484532 -1.162127
8 MW-A 7741 modern Chem2 0.24 -1.622693 0.949825 -1.049279这实际上也为您节省了一个.reset_index :)
group_keys是错误背后的罪魁祸首。熊猫身上的虫子可能来自每一组的正常的concat。用group_keys=True
[('MW-A', 'modern', 'Chem1'), ('MW-A', 'modern', 'Chem2')]熊猫没料到的。这闻起来像是熊猫身上的虫子，但还没有挖更多的证据来证实。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/35924126
复制相关文章
相似问题
腾讯云开发者
