什么是机器学习

1. 引言(Introduction)

1.1 Welcome

随着互联网数据不断累积,硬件不断升级迭代,在这个信息爆炸的时代,机器学习已被应用在各行各业中,可谓无处不在。

一些常见的机器学习的应用,例如:

•手写识别

•垃圾邮件分类

•搜索引擎

•图像处理

•…

使用到机器学习的一些案例:

•数据挖掘

–网页点击流数据分析

•人工无法处理的工作(量大)

–手写识别

–计算机视觉

•个人定制

–推荐系统

•研究大脑

•……

1.2 什么是机器学习(What is Machine Learning)

1.机器学习定义 这里主要有两种定义:

–Arthur Samuel (1959). Machine Learning: Field of study that gives computers the ability to learn without being explicitly programmed.

这个定义有点不正式但提出的时间最早,来自于一个懂得计算机编程的下棋菜鸟。他编写了一个程序,但没有显式地编程每一步该怎么走,而是让计算机自己和自己对弈,并不断地计算布局的好坏,来判断什么情况下获胜的概率高,从而积累经验,好似学习,最后,这个计算机程序成为了一个比他自己还厉害的棋手。

–Tom Mitchell (1998) Well-posed Learning Problem: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.

Tom Mitchell 的定义更为现代和正式。在过滤垃圾邮件这个例子中,电子邮件系统会根据用户对电子邮件的标记(是/不是垃圾邮件)不断学习,从而提升过滤垃圾邮件的准确率,定义中的三个字母分别代表:

•T(Task): 过滤垃圾邮件任务。

•P(Performance): 电子邮件系统过滤垃圾邮件的准确率。

•E(Experience): 用户对电子邮件的标记。

2.机器学习算法

主要有两种机器学习的算法分类

1.监督学习

2.无监督学习

两者的区别为是否需要人工参与数据结果的标注。这两部分的内容占比很大,并且很重要,掌握好了可以在以后的应用中节省大把大把的时间~

还有一些算法也属于机器学习领域,诸如:

–半监督学习: 介于监督学习于无监督学习之间

–推荐算法: 没错,就是那些个买完某商品后还推荐同款的某购物网站所用的算法。

–强化学习: 通过观察来学习如何做出动作,每个动作都会对环境有所影响,而环境的反馈又可以引导该学习算法。

–迁移学习

1.3 监督学习(Supervised Learning)

监督学习,即为教计算机如何去完成预测任务(有反馈),预先给一定数据量的输入和对应的结果即训练集,建模拟合,最后让计算机预测未知数据的结果。

监督学习一般有两种:

3.回归问题(Regression)

回归问题即为预测一系列的连续值

在房屋价格预测的例子中,给出了一系列的房屋面基数据,根据这些数据来预测任意面积的房屋价格。给出照片-年龄数据集,预测给定照片的年龄。

4.分类问题(Classification)

分类问题即为预测一系列的离散值

即根据数据预测被预测对象属于哪个分类。

视频中举了癌症肿瘤这个例子,针对诊断结果,分别分类为良性或恶性。还例如垃圾邮件分类问题,也同样属于监督学习中的分类问题。

视频中提到支持向量机这个算法,旨在解决当特征量很大的时候(特征即如癌症例子中的肿块大小,颜色,气味等各种特征),计算机内存一定会不够用的情况。支持向量机能让计算机处理无限多个特征。

1.4 无监督学习(Unsupervised Learning)

相对于监督学习,训练集不会有人为标注的结果(无反馈),我们不会给出结果或无法得知训练集的结果是什么样,而是单纯由计算机通过无监督学习算法自行分析,从而“得出结果”。计算机可能会把特定的数据集归为几个不同的簇,故叫做聚类算法。

无监督学习一般分为两种:

5.聚类(Clustering)

–新闻聚合

–DNA 个体聚类

–天文数据分析

–市场细分

–社交网络分析

6.非聚类(Non-clustering)

–鸡尾酒问题

新闻聚合

在例如谷歌新闻这样的网站中,每天后台都会收集成千上万的新闻,然后将这些新闻分组成一个个的新闻专题,这样一个又一个聚类,就是应用了无监督学习的结果。

鸡尾酒问题

在鸡尾酒会上,大家说话声音彼此重叠,几乎很难分辨出面前的人说了什么。我们很难对于这个问题进行数据标注,而这里的通过机器学习的无监督学习算法,就可以将说话者的声音同背景音乐分离出来,看视频,效果还不错呢~~。

嗯,这块是打打鸡血的,只需要一行代码就解决了问题,就是这么简单!当然,我没复现过 ^_^……

神奇的一行代码: [W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x');

编程语言建议

在机器学习刚开始时,推荐使用 Octave 类的工程计算编程软件,因为在 C++ 或 Java 等编程语言中,编写对应的代码需要用到复杂的库以及要写大量的冗余代码,比较耗费时间,建议可以在学习过后再考虑使用其他语言来构建系统。 另外,在做原型搭建的时候也应该先考虑使用类似于 Octave 这种便于计算的编程软件,当其已经可以工作后,才将模型移植到其他的高级编程语言中。

注:Octave 与 MATLAB 语法相近,由于 MATLAB 为商业软件,课程中使用开源且免费的 Octave。

机器学习领域发展迅速,现在也可使用 Tensorflow 等开源机器学习框架编写机器学习代码,这些框架十分友好,易于编写及应用。

2 单变量线性回归(Linear Regression with One Variable)

2.1 模型表示(Model Representation)

7.房价预测训练集

Size in feet2 (x)

Price ($) in 1000's(y)

房价预测训练集中,同时给出了输入 x 和输出结果 y,即给出了人为标注的”正确结果“,且预测的量是连续的,属于监督学习中的回归问题。

8.问题解决模型

其中 h 代表结果函数,也称为假设(hypothesis) 。假设函数根据输入(房屋的面积),给出预测结果输出(房屋的价格),即是一个 X→Y 的映射。

hθ(x)=θ0+θ1x,为解决房价问题的一种可行表达式。

x: 特征/输入变量。

上式中,θ 为参数,θ 的变化才决定了输出结果,不同以往,这里的 x 被我们视作已知(不论是数据集还是预测时的输入),所以怎样解得 θ 以更好地拟合数据,成了求解该问题的最终问题。

单变量,即只有一个特征(如例子中房屋的面积这个特征)。

2.2 代价函数(Cost Function)

李航《统计学习方法》一书中,损失函数与代价函数两者为同一概念,未作细分区别,全书没有和《深度学习》一书一样混用,而是统一使用损失函数来指代这类类似概念。

吴恩达(Andrew Ng)老师在其公开课中对两者做了细分。如果要听他的课做作业,不细分这两个概念是会被打小手扣分的!这也可能是因为老师发现了业内混用的乱象,想要治一治吧。

损失函数(Loss/Error Function): 计算单个训练集的误差

代价函数(Cost Function): 计算整个训练集所有损失函数之和的平均值

综合考虑,本笔记对两者概念进行细分,若有所谬误,欢迎指正。

机器学习中的目标函数、损失函数、代价函数有什么区别?- 知乎

我们的目的在于求解预测结果 h 最接近于实际结果 y 时 θ 的取值,则问题可表达为求解 i=0m(hθ(x(i))−y(i)) 的最小值

m: 训练集中的样本总数

y: 目标变量/输出变量

x,y: 训练集中的实例

xi,yi: 训练集中的第 i 个样本实例

上图展示了当 θ 取不同值时,hθx 对数据集的拟合情况,蓝色虚线部分代表建模误差(预测结果与实际结果之间的误差),我们的目标就是最小化所有误差之和。

为了求解最小值,引入代价函数(Cost Function)概念,用于度量建模误差。考虑到要计算最小值,应用二次函数对求和式建模,即应用统计学中的平方损失函数(最小二乘法):

J(θ0,θ1)=12mi=1myi−yi2=12mi=1mhθ(xi)−yi2

y: y 的预测值

系数 12 存在与否都不会影响结果,这里是为了在应用梯度下降时便于求解,平方的导数会抵消掉 12 。

讨论到这里,我们的问题就转化成了求解 Jθ0,θ1 的最小值

2.3 代价函数 - 直观理解1(Cost Function - Intuition I)

根据上节视频,列出如下定义:

•假设函数(Hypothesis): hθ(x)=θ0+θ1x

•参数(Parameters): θ0,θ1

•代价函数(Cost Function): Jθ0,θ1=12mi=1mhθx(i)−y(i)2

•目标(Goal): minimizeθ0,θ1Jθ0,θ1

为了直观理解代价函数到底是在做什么,先假设 θ1=0,并假设训练集有三个数据,分别为1,1,2,2,3,3,这样在平面坐标系中绘制出 hθx ,并分析 Jθ0,θ1 的变化。

右图 Jθ0,θ1 随着 θ1 的变化而变化,可见θ1=1 时,Jθ0,θ1=0,取得最小值,对应于左图青色直线,即函数 h 拟合程度最好的情况。

2.4 代价函数 - 直观理解2(Cost Function - Intuition II)

注:该部分由于涉及到了多变量成像,可能较难理解,要求只需要理解上节内容即可,该节如果不能较好理解可跳过。

给定数据集:

参数在 θ0 不恒为 0 时代价函数 Jθ 关于 θ0,θ1 的3-D图像,图像中的高度为代价函数的值。

由于3-D图形不便于标注,所以将3-D图形转换为轮廓图(contour plot),下面用轮廓图(下图中的右图)来作直观理解,其中相同颜色的一个圈代表着同一高度(同一 Jθ 值)。

θ0=360,θ1=0 时:

大概在 θ0=0.12,θ1=250 时:

上图中最中心的点(红点),近乎为图像中的最低点,也即代价函数的最小值,此时对应 hθx 对数据的拟合情况如左图所示,嗯,一看就拟合的很不错,预测应该比较精准啦。

2.5 梯度下降(Gradient Descent)

在特征量很大的情况下,即便是借用计算机来生成图像,人工的方法也很难读出 Jθ 的最小值,并且大多数情况无法进行可视化,故引入梯度下降(Gradient Descent)方法,让计算机自动找出最小化代价函数时对应的 θ 值。

梯度下降背后的思想是:开始时,我们随机选择一个参数组合θ0,θ1,......,θn即起始点,计算代价函数,然后寻找下一个能使得代价函数下降最多的参数组合。不断迭代,直到找到一个局部最小值(local minimum),由于下降的情况只考虑当前参数组合周围的情况,所以无法确定当前的局部最小值是否就是全局最小值(global minimum),不同的初始参数组合,可能会产生不同的局部最小值。

下图根据不同的起始点,产生了两个不同的局部最小值。

视频中举了下山的例子,即我们在山顶上的某个位置,为了下山,就不断地看一下周围下一步往哪走下山比较快,然后就迈出那一步,一直重复,直到我们到达山下的某一处陆地

梯度下降公式:

$\begin{align*} & \text{repeat until convergence:} \; \lbrace \newline \; &{{\theta }_{j}}:={{\theta }_{j}}-\alpha \frac{\partial }{\partial {{\theta }_{j}}}J\left( {\theta_{0}},{\theta_{1}} \right) \newline \rbrace \end{align*}$

θj: 第 j 个特征参数

”:=“: 赋值操作符

α: 学习速率(learning rate), α>0

∂∂θjJθ0,θ1: Jθ0,θ1 的偏导

公式中,学习速率决定了参数值变化的速率即”走多少距离“,而偏导这部分决定了下降的方向即”下一步往哪里“走(当然实际上的走多少距离是由偏导值给出的,学习速率起到调整后决定的作用),收敛处的局部最小值又叫做极小值,即”陆地“。

注意,在计算时要批量更新 θ,即如上图中的左图所示,否则结果上会有所出入,原因不做细究。

2.6 梯度下降直观理解(Gradient Descent Intuition)

该节探讨 θ1 的梯度下降更新过程,即 θ1:=θ1−αddθ1Jθ1,此处为了数学定义上的精确性,用的是 ddθ1Jθ1,如果不熟悉微积分学,就把它视作之前的 ∂∂θ 即可。

把红点定为初始点,切于初始点的红色直线的斜率,表示了函数 Jθ 在初始点处有正斜率,也就是说它有正导数,则根据梯度下降公式 ,θj:=θj−α∂∂θjJθ0,θ1 右边的结果是一个正值,即 θ1 会向左边移动。这样不断重复,直到收敛(达到局部最小值,即斜率为0)。

初始 θ 值(初始点)是任意的,若初始点恰好就在极小值点处,梯度下降算法将什么也不做(θ1:=θ1−α*0)。

不熟悉斜率的话,就当斜率的值等于图中三角形的高度除以水平长度好啦,精确地求斜率的方法是求导。

对于学习速率 α,需要选取一个合适的值才能使得梯度下降算法运行良好。

•学习速率过小图示:

收敛的太慢,需要更多次的迭代。

•学习速率过大图示:

可能越过最低点,甚至导致无法收敛。

学习速率只需选定即可,不需要在运行梯度下降算法的时候进行动态改变,随着斜率越来越接近于0,代价函数的变化幅度会越来越小,直到收敛到局部极小值。

如图,品红色点为初始点,代价函数随着迭代的进行,变化的幅度越来越小。

最后,梯度下降不止可以用于线性回归中的代价函数,还通用于最小化其他的代价函数。

2.7 线性回归中的梯度下降(Gradient Descent For Linear Regression)

线性回归模型

•hθ(x)=θ0+θ1x

•Jθ0,θ1=12mi=1mhθx(i)−y(i)2

梯度下降算法

•$\begin{align*} & \text{repeat until convergence:} \; \lbrace \newline \; &{{\theta }_{j}}:={{\theta }_{j}}-\alpha \frac{\partial }{\partial {{\theta }_{j}}}J\left( {\theta_{0}},{\theta_{1}} \right) \newline \rbrace \end{align*}$

直接将线性回归模型公式代入梯度下降公式可得出公式

当 j=0,j=1 时,线性回归中代价函数求导的推导过程:

∂∂θjJ(θ1,θ2)=∂∂θj12mi=1mhθx(i)−y(i)2=

12m*2i=1mhθx(i)−y(i)*∂∂θjhθx(i)−y(i)=

1mi=1mhθx(i)−y(i)*∂∂θjθ0x0(i)+θ1x1(i)−y(i)

所以当 j=0 时:

∂∂θ0J(θ)=1mi=1mhθx(i)−y(i)*x0(i)

所以当 j=1 时:

∂∂θ1J(θ)=1mi=1mhθx(i)−y(i)*x1(i)

上文中所提到的梯度下降,都为批量梯度下降(Batch Gradient Descent),即每次计算都使用所有的数据集 i=1m​ 更新。

由于线性回归函数呈现碗状,且只有一个全局的最优值,所以函数一定总会收敛到全局最小值(学习速率不可过大)。同时,函数 J 被称为凸二次函数,而线性回归函数求解最小值问题属于凸函数优化问题

另外,使用循环求解,代码较为冗余,后面会讲到如何使用向量化(Vectorization)来简化代码并优化计算,使梯度下降运行的更快更好。

3 Linear Algebra Review

这部分,学过线性代数的可以复习一下,比较基础。笔记整理暂留。

3.1 Matrices and Vectors

Octave/Matlab 代码:

% The ; denotes we are going back to a new row. A = [1, 2, 3; 4, 5, 6; 7, 8, 9; 10, 11, 12] % Initialize a vector v = [1;2;3] % Get the dimension of the matrix A where m = rows and n = columns [m,n] = size(A) % You could also store it this way dim_A = size(A) % Get the dimension of the vector v dim_v = size(v) % Now let's index into the 2nd row 3rd column of matrix A A_23 = A(2,3)

执行结果:

A = 1 2 3 4 5 6 7 8 9 10 11 12 v = 1 2 3 m = 4 n = 3 dim_A = 4 3 dim_v = 3 1 A_23 = 6

3.2 Addition and Scalar Multiplication

Octave/Matlab 代码:

% Initialize matrix A and B A = [1, 2, 4; 5, 3, 2] B = [1, 3, 4; 1, 1, 1] % Initialize constant s s = 2 % See how element-wise addition works add_AB = A + B % See how element-wise subtraction works sub_AB = A - B % See how scalar multiplication works mult_As = A * s % Divide A by s div_As = A / s % What happens if we have a Matrix + scalar? add_As = A + s

执行结果:

A = 1 2 4 5 3 2 B = 1 3 4 1 1 1 s = 2 add_AB = 2 5 8 6 4 3 sub_AB = 0 -1 0 4 2 1 mult_As = 2 4 8 10 6 4 div_As = 0.50000 1.00000 2.00000 2.50000 1.50000 1.00000 add_As = 3 4 6 7 5 4

3.3 Matrix Vector Multiplication

Octave/Matlab 代码:

% Initialize matrix A A = [1, 2, 3; 4, 5, 6;7, 8, 9] % Initialize vector v v = [1; 1; 1] % Multiply A * v Av = A * v

执行结果:

A = 1 2 3 4 5 6 7 8 9 v = 1 1 1 Av = 6 15 24

3.4 Matrix Matrix Multiplication

Octave/Matlab 代码:

% Initialize a 3 by 2 matrix A = [1, 2; 3, 4;5, 6] % Initialize a 2 by 1 matrix B = [1; 2] % We expect a resulting matrix of (3 by 2)*(2 by 1) = (3 by 1) mult_AB = A*B % Make sure you understand why we got that result

执行结果:

A = 1 2 3 4 5 6 B = 1 2 mult_AB = 5 11 17

3.5 Matrix Multiplication Properties

Octave/Matlab 代码:

% Initialize random matrices A and B A = [1,2;4,5] B = [1,1;0,2] % Initialize a 2 by 2 identity matrix I = eye(2) % The above notation is the same as I = [1,0;0,1] % What happens when we multiply I*A ? IA = I*A % How about A*I ? AI = A*I % Compute A*B AB = A*B % Is it equal to B*A? BA = B*A % Note that IA = AI but AB != BA

执行结果:

A = 1 2 4 5 B = 1 1 0 2 I = Diagonal Matrix 1 0 0 1 IA = 1 2 4 5 AI = 1 2 4 5 AB = 1 5 4 14 BA = 5 7 8 10

3.6 Inverse and Transpose

Octave/Matlab 代码:

% Initialize matrix A A = [1,2,0;0,5,6;7,0,9] % Transpose A A_trans = A' % Take the inverse of A A_inv = inv(A) % What is A^(-1)*A? A_invA = inv(A)*A

执行结果:

A = 1 2 0 0 5 6 7 0 9 A_trans = 1 0 7 2 5 0 0 6 9 A_inv = 0.348837 -0.139535 0.093023 0.325581 0.069767 -0.046512 -0.271318 0.108527 0.038760 A_invA = 1.00000 -0.00000 0.00000 0.00000 1.00000 -0.00000 -0.00000 0.00000 1.00000

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏磐创AI技术团队的专栏

理解卷积神经网络中的输入与输出形状 | 视觉入门

即使我们从理论上理解了卷积神经网络,在实际进行将数据拟合到网络时,很多人仍然对其网络的输入和输出形状(shape)感到困惑。本文章将帮助你理解卷积神经网络的输入...

12220
来自专栏数据科学与人工智能

九张图带你感受AI态势

如今,AI炒得很热,但AI到底发展到了哪一步,很难看清。好在近日,一群AI政策研究人员发布了一份报告,披露了大量数据,有助于我们认清这股热潮的发展状态。

8330
来自专栏Datawhale专栏

机器学习领域必知必会的12种概率分布(附Python代码实现)

机器学习有其独特的数学基础,我们用微积分来处理变化无限小的函数,并计算它们的变化;我们使用线性代数来处理计算过程;我们还用概率论与统计学建模不确定性。在这其中,...

8820
来自专栏磐创AI技术团队的专栏

了解1D和3D卷积神经网络|Keras

当我们说卷积神经网络(CNN)时,通常是指用于图像分类的2维CNN。但是,现实世界中还使用了其他两种类型的卷积神经网络,即1维CNN和3维CNN。在本指南中,我...

19250
来自专栏磐创AI技术团队的专栏

一文综述数据科学家应该了解的5个图算法

在互联世界中,用户不是独立的实体,它们彼此之间具有一定的关系,我们有时在构建机器学习模型时就包括这些关系。

8930
来自专栏卡尼慕

Generative Adversarial Networks

上一篇讲述了VAEs(变分自编码器),那么这次继续学习一下另一个生成模型——GANs。这里建议如果没有看VAEs的请点击传送门:,因为有所关联,所以如果直接看这...

10860
来自专栏点云PCL

关联分割点云中的实例和语义

Xinlong Wang 1 Shu Liu 2 Xiaoyong Shen 2 Chunhua Shen 1 Jiaya Jia 2,3

16330
来自专栏智能计算时代

「首席架构师推荐」深度学习软件比较

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目...

9520
来自专栏磐创AI技术团队的专栏

聊天机器人实战教程 | PyTorch专栏

在本教程中,我们探索一个好玩有趣的循环的序列到序列(sequence-to-sequence)的模型用例。我们将用Cornell Movie-Dialogs C...

16310
来自专栏毛利学Python

机器学习之决策树(下)

这就是所谓的过拟合,当深度越深,分的次数越多,训练集的错误率还ok,但是在测试集就完了。

11160

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励