约束优化理论的推导

本来是打算解释一下数据包络分析的，考虑到原理里面有对偶问题的涉及，那就先从原理的角度简述一下约束优化的对偶优化问题以及kkt条件吧，这同样也是支持向量机中比较核心的知识点，笔者在某厂面试时被手推过这个，最终也是因为解释出来了kkt条件而过了面试，所以重要性还是不言而喻的。

一般来讲，约束优化(本文主要针对凸优化)是指在自变量存在约束集合(集合也叫可行域)的情况下对目标函数进行最优化求解的过程，当然除了我们应该必须形成定式思维的拉格朗日罚函数求解方法外，还有一种改良的梯度求解法也可以求解(把梯度下降后的新自变量强行映射到可行域中，或者是将梯度约束到可行域构成的切线空间中)，不过这不是本文的重点，但是需要有这个概念，接下来详述本文重点

准备

对偶问题

对偶问题与原始问题的最优解的关系

那么问题来了等号成立的条件是什么呢？这就是kkt条件的来源

kkT条件