10分钟梳理机器学习基础知识(一)——在意的小问题

导语:每天10分钟,用去食堂吃饭的时间解决一个知识点。

缘起

笔者目前的岗位与机器学习无关,在学校时修过人工智能的选修课,其实浮于表面,没学到什么技能。在学校的时候一直挺喜欢下棋的(曾经的李世石脑残粉一枚),去年AlphaGo火了一把,因此对机器学习产生了兴趣。看了几本书(“xx入门”,“白话xx与xx”),各种公众号也经常推文章,但术语虽然是熟悉了,还是觉得好像隔着一层。后来修了三门MOOC(板书小王子吴恩达的《Machine Learning》,台大萌娃林轩田的《机器学习基石》与《机器学习技法》),才有种补上了点基础的感觉。

这个系列只是梳理下机器学习用到的部分基础知识,以及自己的管窥之见。有哪里说的不对的话,希望各位猛烈地怼我。

第一篇先列一些贯穿始终的点。

不适定

首先要提的是,机器学习的问题是不适定的。适定性问题要满足下面三个条件:

解是存在的

解是唯一的

解连续地取决于初值条件

我们用机器学习处理的问题,样本只是所有数据的一小部分,解不唯一,所以是一个ill-posed problem。

过拟合

我们用代价函数来衡量假设对训练集的拟合程度。如果我们有非常多的feature,通过学习得到的hypothesis可能完美适应训练集,甚至代价函数为0,但是进行预测时效果就不好了。这就是overfitting,过拟合。与之相对应的就是underfitting,欠拟合。

一般来说,我们的应对思路有两种:

减少feature

可以手动选择保留的特征,也可以使用一些降维的算法,如PCA,可通过发现相关度(协方差)高的特征,转换到低维空间。

正则化

不减少feature,但是给代价函数加一个衡量参数magnitude的项,即regularization parameter,这样可以达到“惩罚”一些特征的效果。

神经网络容易过拟合。像线性模型的参数少,不容易过拟合,这也是它的主要优点。所以满足性能的条件下,模型越简单越好,这是奥卡姆剃刀告诉我们的道理。

凸性

我们在机器学习里经常要考察函数的凸性。这是因为凸函数只有一个极值,即“谷底”。如果我们的代价函数是一个凸函数,那么我们就可以通过梯度下降,逐渐逼近全局最优解,一点一点滑落到谷底。

画个示意图,比如在基于最小二乘法的回归算法中:

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

ACL 2017 杰出论文公布,国内四篇论文入选(附解读)

机器之心报道 参与:PaperWeekly、机器之心 国际计算语言学协会 (ACL,The Association for Computational Lin...

3907
来自专栏人工智能头条

美国密歇根州立大学终身教授金榕:大数据的挑战与随机机器学习算法

1695
来自专栏量子位

创新工场王嘉平开讲:low-level的计算机视觉

颜萌 整理编辑 量子位 出品 | 公众号 QbitAI ? 近日,在DeeCamp创新工场深度学习训练营期间,创新工场AI工程院副院长王嘉平开讲《low-le...

2845
来自专栏AI研习社

BAT资深算法工程师Deep Learning读书分享

「Deep Learning」是机器学习领域的重磅书籍,不管你有没有入手开始阅读,AI 研习社都希望给大家提供一个共同讨论、共同提高的机会。我们请来了曾在百度和...

36110
来自专栏AI研习社

Kaggle 冰山图像分类大赛近日落幕,看冠军团队方案有何亮点

AI 研习社按,在日前结束的 Kaggle「Statoil/C-CORE Iceberg Classifier Challenge」(冰山图像分类大赛)中,由 ...

1422
来自专栏CreateAMind

自动驾驶核心技术之三:环境感知

自动驾驶四大核心技术,分别是环境感知、精确定位、路径规划、线控执行。环境感知是其中被研究最多的部分,不过基于视觉的环境感知是无法满足无人驾驶要求的。

2842
来自专栏AI研习社

深度学习的可解释性研究(一):让模型「说人话」

AI 研习社按:本文为 BIGSCity 的知乎专栏内容,作者王小贱。北航智慧城市兴趣组 BIGSCITY是隶属于北京航空航天大学计算机学院的一个学术研究小组,...

983
来自专栏AI科技评论

BAT资深算法工程师「Deep Learning」读书系列分享(一)

AI科技评论按:「Deep Learning」这本书是机器学习领域的重磅书籍,三位作者分别是机器学习界名人、GAN的提出者、谷歌大脑研究科学家 Ian Good...

38712
来自专栏量子位

十个生成模型(GANs)的最佳案例和原理 | 代码+论文

王小新 编译 原文作者:Sumeet Agrawal 量子位 出品 | 公众号 QbitAI 生成对抗网络(GANs)是一种能“教会”计算机胜任人类工作的有趣方...

5396
来自专栏人工智能

停车还是减速?伯克利实例演示对抗样本带来的潜在隐患

来源:BAIR 编译:Bot 近年来,深层神经网络(DNN)在图像处理、文本分析和语音识别等各种应用领域取得了长足进步,它因此也被作为重要组成部分纳入到许多信息...

2516

扫码关注云+社区