# 什么是机器学习

1. 引言(Introduction)

1.1 Welcome

•手写识别

•垃圾邮件分类

•搜索引擎

•图像处理

•…

•数据挖掘

–网页点击流数据分析

•人工无法处理的工作(量大)

–手写识别

–计算机视觉

•个人定制

–推荐系统

•研究大脑

•……

1.2 什么是机器学习(What is Machine Learning)

1.机器学习定义 这里主要有两种定义：

–Arthur Samuel (1959). Machine Learning: Field of study that gives computers the ability to learn without being explicitly programmed.

–Tom Mitchell (1998) Well-posed Learning Problem: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.

Tom Mitchell 的定义更为现代和正式。在过滤垃圾邮件这个例子中，电子邮件系统会根据用户对电子邮件的标记（是/不是垃圾邮件）不断学习，从而提升过滤垃圾邮件的准确率，定义中的三个字母分别代表：

•P(Performance): 电子邮件系统过滤垃圾邮件的准确率。

•E(Experience): 用户对电子邮件的标记。

2.机器学习算法

1.监督学习

2.无监督学习

–半监督学习: 介于监督学习于无监督学习之间

–推荐算法: 没错，就是那些个买完某商品后还推荐同款的某购物网站所用的算法。

–强化学习: 通过观察来学习如何做出动作，每个动作都会对环境有所影响，而环境的反馈又可以引导该学习算法。

–迁移学习

1.3 监督学习(Supervised Learning)

3.回归问题(Regression)

4.分类问题(Classification)

1.4 无监督学习(Unsupervised Learning)

5.聚类(Clustering)

–新闻聚合

–DNA 个体聚类

–天文数据分析

–市场细分

–社交网络分析

6.非聚类(Non-clustering)

–鸡尾酒问题

2 单变量线性回归(Linear Regression with One Variable)

2.1 模型表示(Model Representation)

7.房价预测训练集

Size in feet2 (x)

Price ($) in 1000's(y) 房价预测训练集中，同时给出了输入 x 和输出结果 y，即给出了人为标注的”正确结果“，且预测的量是连续的，属于监督学习中的回归问题。 8.问题解决模型 其中 h 代表结果函数，也称为假设(hypothesis) 。假设函数根据输入(房屋的面积)，给出预测结果输出(房屋的价格)，即是一个 X→Y 的映射。 hθ(x)=θ0+θ1x，为解决房价问题的一种可行表达式。 x: 特征/输入变量。 上式中，θ 为参数，θ 的变化才决定了输出结果，不同以往，这里的 x 被我们视作已知(不论是数据集还是预测时的输入)，所以怎样解得 θ 以更好地拟合数据，成了求解该问题的最终问题。 单变量，即只有一个特征(如例子中房屋的面积这个特征)。 2.2 代价函数(Cost Function) 李航《统计学习方法》一书中，损失函数与代价函数两者为同一概念，未作细分区别，全书没有和《深度学习》一书一样混用，而是统一使用损失函数来指代这类类似概念。 吴恩达(Andrew Ng)老师在其公开课中对两者做了细分。如果要听他的课做作业，不细分这两个概念是会被打小手扣分的！这也可能是因为老师发现了业内混用的乱象，想要治一治吧。 损失函数(Loss/Error Function): 计算单个训练集的误差 代价函数(Cost Function): 计算整个训练集所有损失函数之和的平均值 综合考虑，本笔记对两者概念进行细分，若有所谬误，欢迎指正。 机器学习中的目标函数、损失函数、代价函数有什么区别？- 知乎 我们的目的在于求解预测结果 h 最接近于实际结果 y 时 θ 的取值，则问题可表达为求解 i=0m(hθ(x(i))−y(i)) 的最小值 m: 训练集中的样本总数 y: 目标变量/输出变量 x,y: 训练集中的实例 xi,yi: 训练集中的第 i 个样本实例 上图展示了当 θ 取不同值时，hθx 对数据集的拟合情况，蓝色虚线部分代表建模误差（预测结果与实际结果之间的误差），我们的目标就是最小化所有误差之和。 为了求解最小值，引入代价函数(Cost Function)概念，用于度量建模误差。考虑到要计算最小值，应用二次函数对求和式建模，即应用统计学中的平方损失函数（最小二乘法）： J(θ0,θ1)=12mi=1myi−yi2=12mi=1mhθ(xi)−yi2 y: y 的预测值 系数 12 存在与否都不会影响结果，这里是为了在应用梯度下降时便于求解，平方的导数会抵消掉 12 。 讨论到这里，我们的问题就转化成了求解 Jθ0,θ1 的最小值 2.3 代价函数 - 直观理解1(Cost Function - Intuition I) 根据上节视频，列出如下定义： •假设函数(Hypothesis): hθ(x)=θ0+θ1x •参数(Parameters): θ0,θ1 •代价函数(Cost Function): Jθ0,θ1=12mi=1mhθx(i)−y(i)2 •目标(Goal): minimizeθ0,θ1Jθ0,θ1 为了直观理解代价函数到底是在做什么，先假设 θ1=0，并假设训练集有三个数据，分别为1,1,2,2,3,3，这样在平面坐标系中绘制出 hθx ，并分析 Jθ0,θ1 的变化。 右图 Jθ0,θ1 随着 θ1 的变化而变化，可见θ1=1 时，Jθ0,θ1=0，取得最小值，对应于左图青色直线，即函数 h 拟合程度最好的情况。 2.4 代价函数 - 直观理解2(Cost Function - Intuition II) 注：该部分由于涉及到了多变量成像，可能较难理解，要求只需要理解上节内容即可，该节如果不能较好理解可跳过。 给定数据集： 参数在 θ0 不恒为 0 时代价函数 Jθ 关于 θ0,θ1 的3-D图像，图像中的高度为代价函数的值。 由于3-D图形不便于标注，所以将3-D图形转换为轮廓图(contour plot)，下面用轮廓图（下图中的右图）来作直观理解，其中相同颜色的一个圈代表着同一高度（同一 Jθ 值）。 θ0=360,θ1=0 时： 大概在 θ0=0.12,θ1=250 时： 上图中最中心的点（红点），近乎为图像中的最低点，也即代价函数的最小值，此时对应 hθx 对数据的拟合情况如左图所示，嗯，一看就拟合的很不错，预测应该比较精准啦。 2.5 梯度下降(Gradient Descent) 在特征量很大的情况下，即便是借用计算机来生成图像，人工的方法也很难读出 Jθ 的最小值，并且大多数情况无法进行可视化，故引入梯度下降(Gradient Descent)方法，让计算机自动找出最小化代价函数时对应的 θ 值。 梯度下降背后的思想是：开始时，我们随机选择一个参数组合θ0,θ1,......,θn即起始点，计算代价函数，然后寻找下一个能使得代价函数下降最多的参数组合。不断迭代，直到找到一个局部最小值(local minimum)，由于下降的情况只考虑当前参数组合周围的情况，所以无法确定当前的局部最小值是否就是全局最小值(global minimum)，不同的初始参数组合，可能会产生不同的局部最小值。 下图根据不同的起始点，产生了两个不同的局部最小值。 视频中举了下山的例子，即我们在山顶上的某个位置，为了下山，就不断地看一下周围下一步往哪走下山比较快，然后就迈出那一步，一直重复，直到我们到达山下的某一处陆地 梯度下降公式：$\begin{align*} & \text{repeat until convergence:} \; \lbrace \newline \; &{{\theta }_{j}}:={{\theta }_{j}}-\alpha \frac{\partial }{\partial {{\theta }_{j}}}J\left( {\theta_{0}},{\theta_{1}} \right) \newline \rbrace \end{align*}$θj: 第 j 个特征参数 ”:=“: 赋值操作符 α: 学习速率(learning rate), α>0 ∂∂θjJθ0,θ1: Jθ0,θ1 的偏导 公式中，学习速率决定了参数值变化的速率即”走多少距离“，而偏导这部分决定了下降的方向即”下一步往哪里“走（当然实际上的走多少距离是由偏导值给出的，学习速率起到调整后决定的作用），收敛处的局部最小值又叫做极小值，即”陆地“。 注意，在计算时要批量更新 θ，即如上图中的左图所示，否则结果上会有所出入，原因不做细究。 2.6 梯度下降直观理解(Gradient Descent Intuition) 该节探讨 θ1 的梯度下降更新过程，即 θ1:=θ1−αddθ1Jθ1，此处为了数学定义上的精确性，用的是 ddθ1Jθ1，如果不熟悉微积分学，就把它视作之前的 ∂∂θ 即可。 把红点定为初始点，切于初始点的红色直线的斜率，表示了函数 Jθ 在初始点处有正斜率，也就是说它有正导数，则根据梯度下降公式 ，θj:=θj−α∂∂θjJθ0,θ1 右边的结果是一个正值，即 θ1 会向左边移动。这样不断重复，直到收敛（达到局部最小值，即斜率为0）。 初始 θ 值（初始点）是任意的，若初始点恰好就在极小值点处，梯度下降算法将什么也不做（θ1:=θ1−α*0）。 不熟悉斜率的话，就当斜率的值等于图中三角形的高度除以水平长度好啦，精确地求斜率的方法是求导。 对于学习速率 α，需要选取一个合适的值才能使得梯度下降算法运行良好。 •学习速率过小图示： 收敛的太慢，需要更多次的迭代。 •学习速率过大图示： 可能越过最低点，甚至导致无法收敛。 学习速率只需选定即可，不需要在运行梯度下降算法的时候进行动态改变，随着斜率越来越接近于0，代价函数的变化幅度会越来越小，直到收敛到局部极小值。 如图，品红色点为初始点，代价函数随着迭代的进行，变化的幅度越来越小。 最后，梯度下降不止可以用于线性回归中的代价函数，还通用于最小化其他的代价函数。 2.7 线性回归中的梯度下降(Gradient Descent For Linear Regression) 线性回归模型 •hθ(x)=θ0+θ1x •Jθ0,θ1=12mi=1mhθx(i)−y(i)2 梯度下降算法 •$\begin{align*} & \text{repeat until convergence:} \; \lbrace \newline \; &{{\theta }_{j}}:={{\theta }_{j}}-\alpha \frac{\partial }{\partial {{\theta }_{j}}}J\left( {\theta_{0}},{\theta_{1}} \right) \newline \rbrace \end{align*}\$

∂∂θjJ(θ1,θ2)=∂∂θj12mi=1mhθx(i)−y(i)2=

12m*2i=1mhθx(i)−y(i)*∂∂θjhθx(i)−y(i)=

1mi=1mhθx(i)−y(i)*∂∂θjθ0x0(i)+θ1x1(i)−y(i)

∂∂θ0J(θ)=1mi=1mhθx(i)−y(i)*x0(i)

∂∂θ1J(θ)=1mi=1mhθx(i)−y(i)*x1(i)

3 Linear Algebra Review

3.1 Matrices and Vectors

Octave/Matlab 代码:

% The ; denotes we are going back to a new row. A = [1, 2, 3; 4, 5, 6; 7, 8, 9; 10, 11, 12] % Initialize a vector v = [1;2;3] % Get the dimension of the matrix A where m = rows and n = columns [m,n] = size(A) % You could also store it this way dim_A = size(A) % Get the dimension of the vector v dim_v = size(v) % Now let's index into the 2nd row 3rd column of matrix A A_23 = A(2,3)

A = 1 2 3 4 5 6 7 8 9 10 11 12 v = 1 2 3 m = 4 n = 3 dim_A = 4 3 dim_v = 3 1 A_23 = 6

Octave/Matlab 代码:

% Initialize matrix A and B A = [1, 2, 4; 5, 3, 2] B = [1, 3, 4; 1, 1, 1] % Initialize constant s s = 2 % See how element-wise addition works add_AB = A + B % See how element-wise subtraction works sub_AB = A - B % See how scalar multiplication works mult_As = A * s % Divide A by s div_As = A / s % What happens if we have a Matrix + scalar? add_As = A + s

A = 1 2 4 5 3 2 B = 1 3 4 1 1 1 s = 2 add_AB = 2 5 8 6 4 3 sub_AB = 0 -1 0 4 2 1 mult_As = 2 4 8 10 6 4 div_As = 0.50000 1.00000 2.00000 2.50000 1.50000 1.00000 add_As = 3 4 6 7 5 4

3.3 Matrix Vector Multiplication

Octave/Matlab 代码:

% Initialize matrix A A = [1, 2, 3; 4, 5, 6;7, 8, 9] % Initialize vector v v = [1; 1; 1] % Multiply A * v Av = A * v

A = 1 2 3 4 5 6 7 8 9 v = 1 1 1 Av = 6 15 24

3.4 Matrix Matrix Multiplication

Octave/Matlab 代码:

% Initialize a 3 by 2 matrix A = [1, 2; 3, 4;5, 6] % Initialize a 2 by 1 matrix B = [1; 2] % We expect a resulting matrix of (3 by 2)*(2 by 1) = (3 by 1) mult_AB = A*B % Make sure you understand why we got that result

A = 1 2 3 4 5 6 B = 1 2 mult_AB = 5 11 17

3.5 Matrix Multiplication Properties

Octave/Matlab 代码:

% Initialize random matrices A and B A = [1,2;4,5] B = [1,1;0,2] % Initialize a 2 by 2 identity matrix I = eye(2) % The above notation is the same as I = [1,0;0,1] % What happens when we multiply I*A ? IA = I*A % How about A*I ? AI = A*I % Compute A*B AB = A*B % Is it equal to B*A? BA = B*A % Note that IA = AI but AB != BA

A = 1 2 4 5 B = 1 1 0 2 I = Diagonal Matrix 1 0 0 1 IA = 1 2 4 5 AI = 1 2 4 5 AB = 1 5 4 14 BA = 5 7 8 10

3.6 Inverse and Transpose

Octave/Matlab 代码:

% Initialize matrix A A = [1,2,0;0,5,6;7,0,9] % Transpose A A_trans = A' % Take the inverse of A A_inv = inv(A) % What is A^(-1)*A? A_invA = inv(A)*A

A = 1 2 0 0 5 6 7 0 9 A_trans = 1 0 7 2 5 0 0 6 9 A_inv = 0.348837 -0.139535 0.093023 0.325581 0.069767 -0.046512 -0.271318 0.108527 0.038760 A_invA = 1.00000 -0.00000 0.00000 0.00000 1.00000 -0.00000 -0.00000 0.00000 1.00000

3 篇文章4 人订阅

0 条评论

## 相关文章

12220

8330

8820

19250

8930

10860

### 关联分割点云中的实例和语义

Xinlong Wang 1 Shu Liu 2 Xiaoyong Shen 2 Chunhua Shen 1 Jiaya Jia 2,3

16330

9520

16310

11160