10分钟梳理机器学习基础知识(一)——在意的小问题

导语:每天10分钟,用去食堂吃饭的时间解决一个知识点。

缘起

笔者目前的岗位与机器学习无关,在学校时修过人工智能的选修课,其实浮于表面,没学到什么技能。在学校的时候一直挺喜欢下棋的(曾经的李世石脑残粉一枚),去年AlphaGo火了一把,因此对机器学习产生了兴趣。看了几本书(“xx入门”,“白话xx与xx”),各种公众号也经常推文章,但术语虽然是熟悉了,还是觉得好像隔着一层。后来修了三门MOOC(板书小王子吴恩达的《Machine Learning》,台大萌娃林轩田的《机器学习基石》与《机器学习技法》),才有种补上了点基础的感觉。

这个系列只是梳理下机器学习用到的部分基础知识,以及自己的管窥之见。有哪里说的不对的话,希望各位猛烈地怼我。

第一篇先列一些贯穿始终的点。

不适定

首先要提的是,机器学习的问题是不适定的。适定性问题要满足下面三个条件:

解是存在的

解是唯一的

解连续地取决于初值条件

我们用机器学习处理的问题,样本只是所有数据的一小部分,解不唯一,所以是一个ill-posed problem。

过拟合

我们用代价函数来衡量假设对训练集的拟合程度。如果我们有非常多的feature,通过学习得到的hypothesis可能完美适应训练集,甚至代价函数为0,但是进行预测时效果就不好了。这就是overfitting,过拟合。与之相对应的就是underfitting,欠拟合。

一般来说,我们的应对思路有两种:

减少feature

可以手动选择保留的特征,也可以使用一些降维的算法,如PCA,可通过发现相关度(协方差)高的特征,转换到低维空间。

正则化

不减少feature,但是给代价函数加一个衡量参数magnitude的项,即regularization parameter,这样可以达到“惩罚”一些特征的效果。

神经网络容易过拟合。像线性模型的参数少,不容易过拟合,这也是它的主要优点。所以满足性能的条件下,模型越简单越好,这是奥卡姆剃刀告诉我们的道理。

凸性

我们在机器学习里经常要考察函数的凸性。这是因为凸函数只有一个极值,即“谷底”。如果我们的代价函数是一个凸函数,那么我们就可以通过梯度下降,逐渐逼近全局最优解,一点一点滑落到谷底。

画个示意图,比如在基于最小二乘法的回归算法中:

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

小白入门最简单的机器学习算法

阅读本文大概需要3分钟 菜鸟独白 上一篇(菜鸟学机器学习启航篇)对机器学习做了初步的介绍,机器学习的算法有很多,小白开始学习的时候,往往会被弄晕。有没有比较简单...

2089
来自专栏SIGAI学习与实践平台

人体骨骼关键点检测综述

人体骨骼关键点对于描述人体姿态,预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础,例如动作分类,异常行为检测,以及自动驾驶等等。近年来,随...

1904
来自专栏人工智能LeadAI

从零开始掌握Python机器学习(附不可错过的资源)

01 基 础 篇 01 基本Python 如果我们打算利用 Python 来执行机器学习,那么对 Python 有一些基本的了解就是至关重要的。幸运的是,因为 ...

3445
来自专栏计算机视觉战队

深度学习网络用于面部表情特征学习

最近看了一篇关于面部表情特征学习的文章,感觉整体框架和构思特别好,就总结了下,和大家分享。希望得到大家的支持和认可,后期大家互相讨论,互相学习!谢谢!O(∩_∩...

2919
来自专栏大数据挖掘DT机器学习

从最大似然到EM算法浅解

机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。...

35312
来自专栏云时之间

读懂矩阵的秩和行列式的意义

作为一个工科的学生,我们长期以来会使用比如像是矩阵以及行列式这些在线性代数上的知识,在这篇文章中,我想来聊一聊这些问题,即设么事面积,以及什么事面积的高纬度的推...

35912
来自专栏AI2ML人工智能to机器学习

非均衡数据处理--如何评价?

在分类问题中, 常见的数据预处理包括: 数据缺失(Missing), 奇值处理(Outlier), 数据变换(Transformation), 特征选择(Fea...

621
来自专栏WOLFRAM

梵高《星夜》的『现代版』

1455
来自专栏杨熹的专栏

怎样做情感分析

本文结构: 什么是情感分析? 怎么分析,技术上如何实现? ---- cs224d Day 7: 项目2-命名实体识别 2016课程地址 项目描述地址 ----...

3385
来自专栏北京马哥教育

决策树DTC数据分析及鸢尾数据集分析

豌豆贴心提醒,本文阅读时间7分钟 今天主要讲述的内容是关于决策树的知识,主要包括以下内容: 1.分类及决策树算法介绍 2.鸢尾花卉数据集介绍 3.决策树实现鸢...

3648

扫码关注云+社区