拉格朗日对偶与KKT条件

最优化问题在机器学习中应用非常广泛。机器学习先是把现实问题转化为数学问题，得到目标函数，然后就是求解这个函数，找到最优解。所以优化问题对于机器学习非常重要，好的优化方法可以快速、正确的找到最优解；如果优化方法不对，可能陷入局部最优，或者难以收敛。对于等式约束的优化问题，可以直接应用拉格朗日乘子法直接求取最优值；对于含有不等式约束的优化问题，可以转化为在满足 KKT 约束条件下求解对偶问题（强对偶）的最优解。