10分钟梳理机器学习基础知识(一)——在意的小问题

导语:每天10分钟,用去食堂吃饭的时间解决一个知识点。

缘起

笔者目前的岗位与机器学习无关,在学校时修过人工智能的选修课,其实浮于表面,没学到什么技能。在学校的时候一直挺喜欢下棋的(曾经的李世石脑残粉一枚),去年AlphaGo火了一把,因此对机器学习产生了兴趣。看了几本书(“xx入门”,“白话xx与xx”),各种公众号也经常推文章,但术语虽然是熟悉了,还是觉得好像隔着一层。后来修了三门MOOC(板书小王子吴恩达的《Machine Learning》,台大萌娃林轩田的《机器学习基石》与《机器学习技法》),才有种补上了点基础的感觉。

这个系列只是梳理下机器学习用到的部分基础知识,以及自己的管窥之见。有哪里说的不对的话,希望各位猛烈地怼我。

第一篇先列一些贯穿始终的点。

不适定

首先要提的是,机器学习的问题是不适定的。适定性问题要满足下面三个条件:

解是存在的

解是唯一的

解连续地取决于初值条件

我们用机器学习处理的问题,样本只是所有数据的一小部分,解不唯一,所以是一个ill-posed problem。

过拟合

我们用代价函数来衡量假设对训练集的拟合程度。如果我们有非常多的feature,通过学习得到的hypothesis可能完美适应训练集,甚至代价函数为0,但是进行预测时效果就不好了。这就是overfitting,过拟合。与之相对应的就是underfitting,欠拟合。

一般来说,我们的应对思路有两种:

减少feature

可以手动选择保留的特征,也可以使用一些降维的算法,如PCA,可通过发现相关度(协方差)高的特征,转换到低维空间。

正则化

不减少feature,但是给代价函数加一个衡量参数magnitude的项,即regularization parameter,这样可以达到“惩罚”一些特征的效果。

神经网络容易过拟合。像线性模型的参数少,不容易过拟合,这也是它的主要优点。所以满足性能的条件下,模型越简单越好,这是奥卡姆剃刀告诉我们的道理。

凸性

我们在机器学习里经常要考察函数的凸性。这是因为凸函数只有一个极值,即“谷底”。如果我们的代价函数是一个凸函数,那么我们就可以通过梯度下降,逐渐逼近全局最优解,一点一点滑落到谷底。

画个示意图,比如在基于最小二乘法的回归算法中:

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

亚马逊专家揭秘:如何建立自动检测乳腺癌的深度学习模型

安妮 编译自 Insight Data Science 量子位出品 | 公众号 QbitAI 本文作者Sheng Weng,现亚马逊Alexa项目组数据专家,莱...

3118
来自专栏新智元

【LeCun & Bengio】NIPS 2015 深度学习专题论坛实录(35PPT)

Yann LeCun:纽约大学终身教授,Facebook人工智能实验室负责人。 Yoshua Bengio:加拿大蒙特利尔大学教授,深度学习大神。 “Deep ...

3536
来自专栏AI科技评论

学界 | 上海交通大学团队与高文院士ICCV录用论文:精度保证下的新型深度网络压缩框架

AI科技评论按:ICCV 全称为 IEEE International Conference on Computer Vision,即国际计算机视觉大会)与计算...

3464
来自专栏闪电gogogo的专栏

关于压缩感知的一些小原理

 压缩感知(CompressiveSensing, or Compressed Sensing)或译为压缩传感,或者称为压缩采样(Compressive...

2087
来自专栏新智元

周志华组最新论文提出“溯因学习”,受玛雅文字启发的神经逻辑机

来源:arXiv 作者:闻菲,刘小芹 【新智元导读】南京大学周志华教授等人在最新的一篇论文中提出了“溯因学习”(abductive learning)的概念,将...

3929
来自专栏null的专栏

简单易学的机器学习算法——协同过滤推荐算法(2)

一、基于协同过滤的推荐系统     协同过滤(Collaborative Filtering)的推荐系统的原理是通过将用户和其他用户的数据进行比对来实现推荐的。...

3106
来自专栏计算机视觉战队

深度学习的“深度”有什么意义?

深度学习的"深度", 早几年讨论的挺多的,身边有不同的理解:深度=更大规模的网络,也有认为:深度=更抽象的特征,近年来物理上也有人侧面显示:深度=玻璃相转变,如...

30111
来自专栏大数据文摘

不想去健身房的我,最后被贝叶斯分析说服了...

可能经常你会听到一些很主观的评价比如“你太瘦了”或者“你怎么那么高”,但这里瘦或者高都是基于评价者的主观判断和视觉记忆做出的评述,并没有严格的参照。

940
来自专栏人工智能

CNN入门讲解:什么是采样层

各位看官老爷们 好久不见 这里是波波给大家带来的CNN卷积神经网络入门讲解 每周我将给大家带来绝对原创,脑洞大开,幽默风趣的深度学习知识点入门讲解 希望大家多多...

2488
来自专栏大数据文摘

公开课打怪团 | 无监督学习最新论文解读(直播回顾)

1544

扫码关注云+社区