十张图解释机器学习

  1. 测试和训练误差:为什么降低训练误差并不总是一件好事。 测试和训练误差是模型复杂性的函数。

.。

2.欠拟合和过拟合:各种阶数M的多项式的红色曲线,拟合由绿色曲线生成的数据集。

3.奥卡姆剃刀:贝叶斯推理表现出奥卡姆剃刀原理了。 这个图给出了为什么复杂的模型会变得不那么可能了。 水平轴表示可能的数据集D的空间。贝叶斯定理奖励模型的比例与他们预测发生的数据有多少有关系。 这些预测通过D上的归一化概率分布来量化。给出模型H i,P(D | H i)的数据的概率被称为H i的证据。 简单模型H1仅仅会产生有限范围的预测,如P(D | H1)所示; 具有例如比H1更多的自由参数的更强大的模型H2能够预测更多种类的数据集。 然而,这意味着H2不像H1那样强烈地预测区域C1中的数据集。假设已将相等的先验概率分配给两个模型。 然后,如果数据集落在区域C1中,则较不强大的模型H1将是更有可能的模型。

4.特征聚合:(1)为什么集体相关特征可能单独看起来会不相关,以及(2)为什么线性方法会失败。

5. 不相关特征:为什么不相关的特征会伤害kNN,聚类和其他基于相似性的方法呢。 左边的图显示了在垂直轴上分离得很好的两个类。右边的图形添加了一个不相关的水平轴,它破坏了分组,并使得许多点是相对类的最近邻。

6.基本函数:非线性基函数会如何将没有线性边界的低维分类问题转化为具有线性边界的高维问题。

7.判别 vs. 生成:为什么判别性学习可能比生成性更容易。 具有单个输入变量x(左图)的两个类的类条件密度的示例以及相应的后验概率(右图)。 注意,类条件密度p(x | C1)在左图上以蓝色显示,对后验概率没有影响。 右图中的垂直绿线显示了给出最小错分率的x中的决策边界。

8.损失函数:学习算法可以被看作是优化不同的损失函数。 支持向量机中使用的'hinge'误差函数的图形以蓝色显示,以及用于逻辑回归的误差函数,以因子1 / ln(2)重新缩放,使得它通过点(0,1),其显示为红色。 还给出了黑色的误分类误差和绿色的平方误差。

9. 最小二乘法的几何性质:9.最小二乘法几何:ESL图3.2。 具有两个预测变量的最小二乘回归的N维几何性质。 结果向量y正交地投影到由输入向量x1和x2跨越的超平面上。 投影y表示最小二乘方预测的向量。

10.稀疏性:为什么Lasso(L1正则化或拉普拉斯先验)会给出稀疏解(即具有更多零的权重向量)?。这里给出了误差和约束函数的轮廓。 蓝色区域是约束区域|β1| + |β2| ≤t和β12+β22≤t2,而红色椭圆是最小二乘误差函数的轮廓。

原文发布于微信公众号 - 鸿的学习笔记(shujuxuexizhilu)

原文发表时间:2016-12-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Bingo的深度学习杂货店

吴恩达 —— 深度学习 Course 1 笔记

Course1:神经网络和深度学习,包括: ---- [1] Week1:深度学习概述 [2] Week2:神经网络基础 [3] Week3:浅层神经网络 ...

3148
来自专栏机器学习、深度学习

语义分割--Mix-and-Match Tuning for Self-Supervised Semantic Segmentation

Mix-and-Match Tuning for Self-Supervised Semantic Segmentation AAAI Conference...

28910
来自专栏SIGAI学习与实践平台

深度多目标跟踪算法综述

基于深度学习的算法在图像和视频识别任务中取得了广泛的应用和突破性的进展。从图像分类问题到行人重识别问题,深度学习方法相比传统方法表现出极大的优势。与行人重识别问...

2413
来自专栏架构师之路

3分钟懂线性回归预测算法瞅一眼,懂个概念也值得

线性回归(linear-regression)预测算法C++实现 上一期,和大家分享了K-means聚类算法的基本概念和实现要点(漏了的同学欢迎加公众号回顾),...

3857
来自专栏机器之心

入门 | 机器学习新手必看10大算法

35111
来自专栏机器学习算法与Python学习

Machine Learning -- Boosting

本来想写随机森林的但是由于其中用到了太多提升的思想,所以就先整理整理提升的相关概念。 Boosting方法是一种用来提高弱分类算法准确度的方法,这种方法通过构造...

3366
来自专栏SIGAI学习与实践平台

用一句话总结常用的机器学习算法

浓缩就是精华。想要把书写厚很容易,想要写薄却非常难。现在已经有这么多经典的机器学习算法,如果能抓住它们的核心本质,无论是对于理解还是对于记忆都有很大的帮助,还能...

2099
来自专栏SIGAI学习与实践平台

机器学习与深度学习核心知识点总结--写在校园招聘即将开始时

一年一度的校园招聘就要开始了,为了帮助同学们更好的准备面试,SIGAI 在今天的公众号文章中对机器学习、深度学习的核心知识点进行了总结。希望我们的文章能够帮助你...

1041
来自专栏大数据挖掘DT机器学习

统计学习方法概论

1.统计学习 统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去。统计学习...

3054
来自专栏闪电gogogo的专栏

《统计学习方法》笔记一 统计学习方法概论

  输入与输出所有可能取值的集合成为输入空间与输出空间。每个具体的输入是一个实例,通常由特征向量表示,所有特征向量存在的空间成为特征空间。

912

扫码关注云+社区

领取腾讯云代金券