看图理解 拉格朗日乘子法

昨日回顾

昨天推荐了瑞典理工学院，讲解拉格朗日和KKT条件的PPT，

瑞典皇家理工学院：拉格朗日乘子法和KKT条件 PPT下载

这可能是我见过的讲解约束优化最棒的材料，图形和数学符合结合阐述四类常见的约束优化问题，尤其是一直对理解支持向量机的原理有困惑的同学可借鉴。

下面节选几张PPT回顾一下，请看下面这张，对如下符号：

不清楚的同学，看看下面这幅图，马上就会茅塞顿开了吧，它就是一个向量，其方向就是蓝色箭头所指。

如果问题的目标和约束如下：

如果要想取得最小值，必须满足条件：

原因大家看看下面这幅图，就能看明白吧，两个向量的投影为正，正是严格意义上的f(x)的下降。

h(x)为圆形边界约束，它的法向量为如下红框所示，和f(x)为直线的法向量相似。

所以在移动x时，必须沿着以上红框的垂线方向移动，只有这样才能保证满足约束，如下所示：

请看下图，如果移动到关键点时，显然满足以下红框中的等式条件：（其中u为向量的比例系数）

因此，以下幻灯片中的等式成立，并且可以看到在关键点处时，已经无法再移动点，这也就意味着达到了局部最小值。

这是一个重要的等式：

从这个角度解释了拉个朗日乘子法存在的实际意义：