前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >贝叶斯方法与正则项

贝叶斯方法与正则项

作者头像
用户1147754
发布2018-01-05 16:36:00
7650
发布2018-01-05 16:36:00
举报
文章被收录于专栏:YoungGy

从贝叶斯角度,正则项等价于引入参数w的先验概率分布。常见的L1/L2正则,分别等价于引入先验信息:参数w符合均值为0的拉普拉斯分布/高斯分布。

  • 贝叶斯方法的参数估计
  • 后验概率的展开形式
  • 参数的先验概率与正则项
  • 模型举例
    • 逻辑回归
    • 线性回归

贝叶斯方法的参数估计

贝叶斯方法的参数估计,就是通过最大化后验概率来估计模型的参数。

假定模型参数为w,数据集为D,贝叶斯通过最大化后验概率估计模型参数w,即:

假定如下:

  • 样本独立不相关
  • 模型参数独立不相关

最新的优化问题为:

参数的先验概率与正则项

当参数w的先验概率满足高斯分布:

优化问题的左项中,如果w满足

这时候的优化函数为:

同样地,参数w的先验概率满足均值为0的拉普拉斯分布,有:

这说明:

  • L2正则,等价于参数w的先验分布满足均值为0的正态分布
  • L1正则,等价于参数w的先验分布满足均值为0的拉普拉斯分布
  • 拉普拉斯在0附近突出,周围稀疏,对应容易产生稀疏解的模型
这里写图片描述
这里写图片描述

模型举例

以参数w的先验概率满足均值为0的高斯分布为例,优化问题为:

逻辑回归

所以有:

总结:逻辑回归,通过贝叶斯法最大化后验概率。在数据的概率满足逻辑函数的假设下得到了cross entropy的误差函数;在样本独立、模型参数独立、模型参数满足均值为0的高斯分布的假设下获得了L2正则项。

线性回归

线性回归,假设误差满足均值为0的高斯分布,该假设符合一般的规律。

所以有:

总结:线性回归,通过贝叶斯法最大化后验概率。在误差为均值0的高斯分布的假设下得到了square error的误差函数;在样本独立、模型参数独立、模型参数满足均值为0的高斯分布的假设下获得了L2正则项。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017年02月27日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 贝叶斯方法的参数估计
  • 参数的先验概率与正则项
  • 模型举例
    • 逻辑回归
      • 线性回归
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档