PRML笔记

根均方误差(RMS)

ERMS=2E(w∗)/N−−−−−−−−−√

E_{RMS} = \sqrt {2E({w^*})/N}

其中,除以NN让我们能够以相同的基础对比不同大小的数据集,平方根确保了ERMSE_{RMS}与目标变量tt使用相同的规模和单位进行度量。

生成模型和判别模型

  判别方法:由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。典型的判别模型包括k近邻,感知级,决策树,支持向量机等。   生成方法:由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。典型的生成模型有:朴素贝叶斯和隐马尔科夫模型等。   生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。

贝叶斯定理、似然函数

p(w|D)=p(D|w)p(w)p(D)

p(w|D)=\frac{p(D|w)p(w)}{p(D)}   贝叶斯定理右侧变量p(D|w)p(D|w)由观测数据集DD来估计,可以看成是参数向量ww的函数,被称为似然函数。它表达了在不同的参数向量ww下,观测数据出现的可能性的大小。注意,似然函数不是ww的概率分布,并且它关于ww的积分并不(一定)等于1。   频率学家广泛使用的一个估计是最大似然( maximum likelihood)估计,其中ww的值是使似然函数p(D|w)p(D|w)达到最⼤值的ww值。这对应于选择使观察到的数据集出现概率最大的ww的值。在机器学习的文献中,似然函数的负对数被叫做误差函数( error function)。由于负对数是单调递减的函数,最大化似然函数等价于最小化误差函数。

高斯分布

N(x|μ,σ2)=1(2πσ2)1/2exp{−12σ2(x−μ)2}

N(x|\mu,\sigma^2)=\frac{1}{(2\pi{\sigma}^2)^{1/2}}exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}

E[x]=μ;E[x2]=μ2+σ2;var[x]=σ2

E[x]=\mu;E[x^2]=\mu^2+\sigma^2;var[x]=\sigma^2   反对法   监控

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏老秦求学

Deep Learning Tutorial 李宏毅(一)深度学习介绍

大纲 深度学习介绍 深度学习训练的技巧 神经网络的变体 展望 深度学习介绍 深度学习介绍 深度学习属于机器学习的一种。介绍深度学习之前,我们先大致了解一下机器学...

44510
来自专栏数据科学与人工智能

【机器学习】参数和非参数机器学习算法

什么是参数机器学习算法并且它与非参数机器学习算法有什么不同? 本文中你将了解到参数和非参数机器学习算法的区别。 让我们开始吧。 ? 学习函数 机器学习可以总结...

3495
来自专栏AI星球

逻辑回归(LR)个人学习总结篇

逻辑回归(LR,Logistic Regression)是传统机器学习中的一种分类模型,由于LR算法具有简单、高效、易于并行且在线学习(动态扩展)的特点,在工业...

7744
来自专栏企鹅号快讯

基于CPPN与GAN+VAE生成高分辨率图像

来源:otoro 编译:weakish 在之前的文章中,hardmaru讨论了一种生成算法,可以在诸如MNIST或CIFAR-10这样的低分辨率图像上训练,以任...

2468
来自专栏机器学习入门

PRML系列:1.3 Model Selection

PRML系列:1.3 Model Selection 模型选择 模型选择一般采用交叉验证,本节提到了S-fold cross-validation,原理如下,把...

2138
来自专栏机器学习算法与Python学习

最小二乘支持向量回归机(LS-SVR)

前面连续的七篇文章已经详细的介绍了支持向量机在二分类中的公式推导,以及如何求解对偶问题和二次规划这个问题,分类的应用有很多,如电子邮箱将邮件进行垃圾邮件与正常邮...

6619
来自专栏SIGAI学习与实践平台

理解AdaBoost算法

与随机森林一样,Boosting算法也是一种集成学习算法,随机森林和集成学习在SIGAI之前的公众号文章“随机森林概述”中已经介绍。Boosting的分类器由多...

824
来自专栏SIGAI学习与实践平台

理解AdaBoost算法

与随机森林一样,Boosting算法也是一种集成学习算法,随机森林和集成学习在SIGAI之前的公众号文章“随机森林概述”中已经介绍。Boosting的分类器由多...

3300
来自专栏IT派

无需深度学习框架,如何从零开始用Python构建神经网络

动机:为了深入了解深度学习,我决定从零开始构建神经网络,并且不使用类似 Tensorflow 的深度学习库。我相信,对于任何有理想的数据科学家而言,理解神经网络...

1645
来自专栏小鹏的专栏

trick—Data Augmentation

海康威视经验 ?         数据增强对最后的识别性能和泛化能力都有着非常重要的作用。我们使用下面这些数据增强方法。第一,对颜色的数据增强,包括色彩的饱和...

4876

扫码关注云+社区