PRML笔记

根均方误差（RMS）

ERMS=2E(w∗)/N−−−−−−−−−√

E_{RMS} = \sqrt {2E({w^*})/N}

其中，除以NN让我们能够以相同的基础对比不同大小的数据集，平方根确保了ERMSE_{RMS}与目标变量tt使用相同的规模和单位进行度量。

生成模型和判别模型

　　判别方法：由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。基本思想是有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。典型的判别模型包括k近邻，感知级，决策树，支持向量机等。 　　生成方法：由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。典型的生成模型有：朴素贝叶斯和隐马尔科夫模型等。 　　生成算法尝试去找到底这个数据是怎么生成的（产生的），然后再对一个信号进行分类。基于你的生成假设，那么那个类别最有可能产生这个信号，这个信号就属于那个类别。判别模型不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。

贝叶斯定理、似然函数

p(w|D)=p(D|w)p(w)p(D)

p(w|D)=\frac{p(D|w)p(w)}{p(D)} 　　贝叶斯定理右侧变量p(D|w)p(D|w)由观测数据集DD来估计，可以看成是参数向量ww的函数，被称为似然函数。它表达了在不同的参数向量ww下，观测数据出现的可能性的大小。注意，似然函数不是ww的概率分布，并且它关于ww的积分并不（一定）等于1。 　　频率学家广泛使用的一个估计是最大似然（ maximum likelihood）估计，其中ww的值是使似然函数p(D|w)p(D|w)达到最⼤值的ww值。这对应于选择使观察到的数据集出现概率最大的ww的值。在机器学习的文献中，似然函数的负对数被叫做误差函数（ error function）。由于负对数是单调递减的函数，最大化似然函数等价于最小化误差函数。

高斯分布

N(x|μ,σ2)=1(2πσ2)1/2exp{−12σ2(x−μ)2}

N(x|\mu,\sigma^2)=\frac{1}{(2\pi{\sigma}^2)^{1/2}}exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}

E[x]=μ;E[x2]=μ2+σ2;var[x]=σ2

E[x]=\mu;E[x^2]=\mu^2+\sigma^2;var[x]=\sigma^2 　　反对法 　　监控