PRML笔记

根均方误差(RMS)

ERMS=2E(w∗)/N−−−−−−−−−√

E_{RMS} = \sqrt {2E({w^*})/N}

其中,除以NN让我们能够以相同的基础对比不同大小的数据集,平方根确保了ERMSE_{RMS}与目标变量tt使用相同的规模和单位进行度量。

生成模型和判别模型

  判别方法:由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。典型的判别模型包括k近邻,感知级,决策树,支持向量机等。   生成方法:由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。典型的生成模型有:朴素贝叶斯和隐马尔科夫模型等。   生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。

贝叶斯定理、似然函数

p(w|D)=p(D|w)p(w)p(D)

p(w|D)=\frac{p(D|w)p(w)}{p(D)}   贝叶斯定理右侧变量p(D|w)p(D|w)由观测数据集DD来估计,可以看成是参数向量ww的函数,被称为似然函数。它表达了在不同的参数向量ww下,观测数据出现的可能性的大小。注意,似然函数不是ww的概率分布,并且它关于ww的积分并不(一定)等于1。   频率学家广泛使用的一个估计是最大似然( maximum likelihood)估计,其中ww的值是使似然函数p(D|w)p(D|w)达到最⼤值的ww值。这对应于选择使观察到的数据集出现概率最大的ww的值。在机器学习的文献中,似然函数的负对数被叫做误差函数( error function)。由于负对数是单调递减的函数,最大化似然函数等价于最小化误差函数。

高斯分布

N(x|μ,σ2)=1(2πσ2)1/2exp{−12σ2(x−μ)2}

N(x|\mu,\sigma^2)=\frac{1}{(2\pi{\sigma}^2)^{1/2}}exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}

E[x]=μ;E[x2]=μ2+σ2;var[x]=σ2

E[x]=\mu;E[x^2]=\mu^2+\sigma^2;var[x]=\sigma^2   反对法   监控

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 斯坦福CS231n - CNN for Visual Recognition(5)-lecture5激活函数、神经网络结构

      在线性分类中,我们使用s=Wxs=Wx计算类别的评分函数,其中WW为一个矩阵,xx为一个列向量,输出表示类别的评分向量。而在神经网络中,最常用的是s=W2m...

    李智
  • sublime text3优秀插件汇总(含安装教程)

    1. 自主安装sublime text3 2. ubuntu下使用下面命令安装

    李智
  • 斯坦福CS231n - CNN for Visual Recognition(3)-lecture3(下)最优化

      上节我们已经介绍了图像分类的两个关键部分:评分函数与损失函数,接下来就是最优化的问题了,即如何寻找使得损失函数值最小的WW。 对于SVM 得分函数:...

    李智
  • 使用Dockerfile搭建jdk、tomcat运行环境

    . 表示Dockerfile在当前文件夹下,也可使用绝对路径(/path/to/Dockerfile)来表示

    拓荒者
  • 读Zepto源码之Touch模块

    大家都知道,因为历史原因,移动端上的点击事件会有 300ms 左右的延迟,Zepto 的 touch 模块解决的就是移动端点击延迟的问题,同时也提供了滑动的 s...

    对角另一面
  • sql mysql like查询使用索引

    在使用msyql进行模糊查询的时候,很自然的会用到like语句,通常情况下,在数据量小的时候,不容易看出查询的效率,但在数据量达到百万级,千万级的时候,查询的效...

    葫芦
  • ios 管理多个target的一些注意事项

    先介绍一下为什么我要使用多target来管理项目。因为目前的项目是面向B端的,就是一套代码要给很多个客户打包,每个包的Bundle Identifier不同,然...

    赵哥窟
  • Unity 芯片拼图算法

    很多游戏的养成系统中会有利用芯片或者碎片来合成特定道具的功能,或者来给玩家以额外的属性提升等,先截个图以便更好说明:

    汐夜koshio
  • Python:使用sklearn进行集成学习

    ---- 1 前言 2 集成学习是什么? 3 偏差和方差   3.1 模型的偏差和方差是什么?   3.2 bagging的偏差和方差 ...

    机器学习AI算法工程
  • 12.28VR 扫描:今日VR界的大事记:VR被列入《“十三五”国家信息化规划》

    VRPinea

扫码关注云+社区

领取腾讯云代金券