前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >《PRML》读书笔记之三:概率论(下)

《PRML》读书笔记之三:概率论(下)

作者头像
口仆
修改2020-08-17 18:58:34
5230
修改2020-08-17 18:58:34
举报
文章被收录于专栏:用户2133719的专栏

从图中我们可以看出高斯分布满足:

我们将估计的期望等于真值的估计称为无偏估计,否则称为有偏估计。为了得到方差的无偏估计,我们需要进行如下处理:

在之后的章节中我们可以发现,当采用贝叶斯方法时,会自动得到这一结果。当数据量 增加时,最大似然估计的偏差会逐渐减小,极限情况下甚至会消失。在实际应用中,只要 的值不太下,偏差并不会有太大的影响。然而,在本书中我们关心的是带有很多参数的复杂模型,对于这些模型来说,最大似然估计带来的偏差问题会相当严重。下面我们将给出这一偏差在多项式曲线拟合的过拟合问题中的体现。

3.6 曲线拟合再考察

之前我们已经从误差最小化的角度介绍了多项式曲线拟合问题,本节我们将从概率角度来考察该问题,以更加深刻地认识误差函数和正则化,并且可以让我们从贝叶斯视角来看待这个问题。

多项式拟合问题的目标是基于由 个输入值 和其对应的目标值 组成的训练集,当给定某个输入变量 的新值时,能够对目标变量 进行预测。我们可以使用概率分布来表达目标变量取值的不确定性。为了达成这一目标,我们需要假设给定 的值,对应的 的值满足一个高斯分布,其均值为多项式曲线 的值,因此我们有:

其中,为了和后续章节保持一致性,我们定义了精度参数 ,其对应于分布的方差的倒数。下图给出了上述分布的可视化说明。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-04-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 口仆 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 3.6 曲线拟合再考察
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档