目录
损失函数是学习的指挥棒。
前段时间有个活,让我对定义损失函数有了新的认识,遂记录一下。
这里隐去具体的背景,只描述问题。
给定一个训练集(可视为全集的有效采样)
,
个样本,每个样本
有
维特征,样本已做归一化处理,现希望将
维映射成1维,尽量保留样本原有远近关系。
一个直接的想法是,最大方差投影,即PCA第一主成分对应的投影向量,
投影后,得到的分布如下,
分布特点:单峰、偏斜、陡峭、长尾……
因为一些后处理操作的要求,希望投影得到的分布尽可能对称且均匀,能否找到更好的投影方向?
如果采用学习的方法,待学习的参数很好定义,1个D维的投影向量,关键是如何构建损失函数。
我们希望投影后的分布具有如下特点,
显然这是个无监督问题,令投影向量为
,
投影后为
,
为标量,我们希望
的分布具有如上特点。
在概率统计中,有两个指标,偏度(Skewness)和峰度(Kurtosis),
来衡量分布表与标准正态分布相比是更陡峭还是平坦,如下图所示,
偏度(Skewness)和峰度(Kurtosis)都无量纲,在这个问题中,恰好可以用它们来构建损失函数,同时考虑方差,将损失定义如下,令
,移除投影向量模对方差的影响,
\[L = \frac{1}{Std[pX]} + \lambda_1(\operatorname{Skewness}[pX])^2 + \lambda_2\operatorname{Kurt}[pX] \]
自动微分交给pytorch,
class My_loss(nn.Module):
def __init__(self):
super().__init__()
def forward(self, x, y=None):
mu = x.mean()
var = x.var(unbiased=False)
loss = lambda1 * (x - x.mean()).pow(3).mean().pow(2) / (x.var(unbiased=False).pow(3)) + lambda2 / x.std(unbiased=False) \
+ lambda3 * (x - x.mean()).pow(4).mean() / (x.var(unbiased=False).pow(2))
return loss
训练得到投影方向,投影后的分布如下,与之前相比,更符合期望。
将训练得到的投影方向,融入整个处理流程,配合相应的后处理操作,获得了不错的性能提升。
回到开篇的那句话,损失函数是学习的指挥棒,在构建损失函数时,要
当然,还要调参(微笑)