Loss Function

常见的损失函数。

范数

损失函数中, 正则项一般是参数的 Lp 距离.

L1最优化问题的解是稀疏性的, 其倾向于选择很少的一些非常大的值和很多的insignificant的小值. 而L2最优化则更多的非常少的特别大的值, 却又很多相对小的值, 但其仍然对最优化解有significant的贡献. 但从最优化问题解的平滑性来看, L1范数的最优解相对于L2范数要少, 但其往往是最优解, 而L2的解很多, 但更多的倾向于某种局部最优解.

L0范数本身是特征选择的最直接最理想的方案, 但如前所述, 其不可分, 且很难优化, 因此实际应用中我们使用L1来得到L0的最优凸近似. L2相对于L1具有更为平滑的特性, 在模型预测中, 往往比L1具有更好的预测特性. 当遇到两个对预测有帮助的特征时, L1倾向于选择一个更大的特征. 而L2更倾向把两者结合起来.

L0-范数

​​

向量中非零元素的个数

在 Sparse Coding 中, 通过最小化 L0 寻找最少最优的稀疏特征. 但难以优化, 一般转化成 L1 L2

L1-范数

曼哈顿距离

如计算机视觉中对比两张图片的不同像素点之和

L2-范数

欧几里得距离

Lp-范数

无限范数距离

切比雪夫距离

d=\lim_{p \to \infty}\sum_{i=1}^{n}\bigg(|x_i-y_i|^{p}\bigg)^{\frac {1}{p}} = \max(|x_1-y_1|,…,|x_n-y_n|)

损失函数

0 - 1 损失函数

gold standard

对数损失函数

Log Loss, cross entropy error

对 LR 而言, 把它的条件概率分布方程

带入上式, 即可得到 LR 的对数损失函数

平方损失函数

Square Loss

其中 $$Y-f(X)$$ 表示残差, 整个式子表示残差平方和, Residual Sum of Squares

指数损失函数

Exponential Loss

如 Adaboost, 它是前向分步加法算法的特例, 是一个加和模型, 损失函数就是指数函数. 经过m此迭代之后, 可以得到

Adaboost 每次迭代的目标是最小化指数损失函数

合页损失

Hinge Loss, 如 SVM

Huber 损失

常用于回归树。与比平方损失相比,它对 outlier 更加不敏感

对于回归问题

其中 $$|a|=y-f(x)$$

对分类问题

下图是 huber loss(绿色)与平方损失(蓝色)的对比,来自 wiki

正则化

Regulization or Penalization:

其中第一项是经验风险, 第二项是正则化项。常见的正则项,通过 L0,L1,L2L_0,L_1,L_2L​0​​,L​1​​,L​2​​ 范数衡量参数 www,有

其中 L2L_2L​2​​ 正则项最常用,因为它是凸函数,可以用梯度下降法求解。

而 L1L_1L​1​​ 正则项有特征选择功能,能够得到更加稀疏、更多 0 的解。可以用简单截断法,梯度截断法(TG, Truncated Gradient),ADMM 方法求解。

以 w∈R2w\in \mathbb R^2w∈R​2​​ 为例,椭圆形是 loss 的损失等高线,灰色区域是约束区域,等高线与约束区域相交的地方,就是最优解。可以看出,L1 较 L2 有更大的概率在角处相交,得到稀疏解。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • HTML

    刘笑江
  • Optical Flow

    光流法实际是通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向的方法。

    刘笑江
  • Xavier 初始化方法

    在 Xavier Init 提出前,一般用 unsupervised pre-trainning 和 greedy layer-wise procedure 来...

    刘笑江
  • Windows查看网卡驱动版本

    2015版的驱动需要升级到2016版,参考这个文档进行驱动升级https://cloud.tencent.com/document/product/213/27...

    我爱你的一诺
  • 继续搞【附近的人】---MySQL搞LBS(二)

    考虑到在座的各位...都是泥腿子,唯一会做的就是用PHP CRUD,而且即便是只会搞CRUD,也还是离不开MySQL。

    桶哥
  • 继续搞【附近】系列---MySQL搞LBS(二)

    考虑到在座的各位...都是泥腿子,唯一会做的就是用PHP CRUD,而且即便是只会搞CRUD,也还是离不开MySQL。

    老李秀
  • 【玩转腾讯云】五.手把手教你用VNC搭建Ubuntu可视化界面(一)

    ②选择自定义配置——计费模式为“按量付费”——地域选择“北京”——可用区选择“随机可用区”——网络选择“默认”即可

    一只特立独行的兔先生
  • 腾讯云windows网卡驱动误卸载恢复

    windows 服务器,误操作将网卡驱动卸载后,可以通过系统中内置的驱动文件重新安装来恢复:

    大大大黑白格子
  • kali安装KatanaFramework

    个人博客:https://suveng.github.io/blog/​​​​​​​

    suveng
  • 零基础利用腾讯云服务器搭建网站-服务器选购-环境一键配置

    地域可以随意的选择,操作系统选择centos,相对于Windows系统的话更加稳定,不会没有关系,这次是一点一点的教大家

    勤劳的小蜜蜂

扫码关注云+社区

领取腾讯云代金券