优化算法——凸优化的概述

一、引言

   在机器学习问题中,很多的算法归根到底就是在求解一个优化问题,然而我们的现实生活中也存在着很多的优化问题,例如道路上最优路径的选择,商品买卖中的最大利润的获取这些都是最优化的典型例子,前面也陆续地有一些具体的最优化的算法,如基本的梯度下降法,牛顿法以及启发式的优化算法(PSO,ABC等)。

二、凸函数

凸函数如下图所示:

一个函数是凸函数是它存在最优解的充分必要条件。

三、三类优化问题

主要有三类优化问题:

  • 无约束优化问题
  • 含等式约束的优化问题
  • 含不等式约束的优化问题

针对上述三类优化问题主要有三种不同的处理策略,对于无约束的优化问题,可直接对其求导,并使其为0,这样便能得到最终的最优解;对于含等式约束的优化问题,主要通过拉格朗日乘数法将含等式越是的优化问题转换成为无约束优化问题求解;对于含有不等式约束的优化问题,主要通过KKT条件(Karush-Kuhn-Tucker Condition)将其转化成无约束优化问题求解。

四、正则化

在“简单易学的机器学习算法——线性回归(1)”中,在处理局部加权线性回归时,我们碰到了如下的三种情况:

时模型是欠拟合的,当

时模型可能会出现过拟合。过拟合的含义是指模型对于训练数据的拟合效果非常好,但是对于未知数据的拟合效果较差的一种情况。然而,过拟合体现出来的现象是:特征权重的各个维度的绝对值非常大,要么是一些较大的整数,要么是一些较小的负数。为了避免过拟合的情况,通常的做法就是在损失函数的基础上加上一个关于特征权重的限制,主要用于限制他的模不要太大。可以表示为一个带约束的优化问题,具体的形式如下:

其中

是损失函数

是约束项,又称为正则化因子。正则化主要有两种:

  • L1-Regularization,见“简单易学的机器学习算法——lasso”
  • L2-Regularization,见“简单易学的机器学习算法——岭回归(Ridge Regression)”

常见的描述L1和L2正则化的图如下:

左图中的正方形代表的是L1约束,绿色的是损失函数的等高线,最优解出现在坐标轴上的概率较大(注意:主要是区分是否求出的是全局最优解);而右图中黑色的圆代表的是L2约束。若权重是二维的,如上图所示,L1约束求出的解中,有一维是0,这样L1约束就起到了稀疏的作用,产生的解更加稀疏。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小鹏的专栏

YOLO

YOLO核心思想:从R-CNN到Fast R-CNN一直采用的思路是proposal+分类 (proposal 提供位置信息, 分类提供类别信息)精度已经很高,...

43060
来自专栏决胜机器学习

神经网络和深度学习(五) ——深层神经网络基础

神经网络和深度学习(五)——深层神经网络基础 (原创内容,转载请注明来源,谢谢) 一、概述 本文是对深层神经网络的基础,主要讨论深层神经网络的算法、公式推导以...

41670
来自专栏人工智能

用PaddlePaddle和Tensorflow实现经典CNN网络GoogLeNet

前面讲了LeNet、AlexNet和Vgg,这周来讲讲GoogLeNet。GoogLeNet是由google的Christian Szegedy等人在2014年...

33090
来自专栏智能算法

机器学习三人行(系列九)----千变万化的组合算法(附代码)

上节中我们讲解了决策树的使用: 机器学习三人行(系列八)----神奇的分类回归决策树(附代码) 本文我们在决策树的基础上,更进一步的讨论由常用机器学习算法进行组...

408110
来自专栏机器学习原理

机器学习(10)——线性SVM

支持向量机 Support vecor machine,SVM)本身是一个二元分类算法,是对感知器算法模型的一种扩展,现在的SVM算法支持线性分类和非线性分类的...

387100
来自专栏AI科技评论

大会 | AAAI论文:基于强化学习循环查找受关注区域的多标签图像识别

AI 科技评论按:近日,中山大学-商汤科技联合发表 AAAI2018 论文 「Recurrent Attentional Reinforcement Learn...

52060
来自专栏计算机视觉战队

CNN的全面解析(带你简单轻松入门)

亲爱的关注者您好!真的是好久不见,上次与您相见还是8月18日的晚上,不知道35天的时间不见,你们都有了哪些成果?有了哪些成就?有了哪些offer?但是,本平台的...

33970
来自专栏SIGAI学习与实践平台

用一张图理解SVM的脉络

SVM在之前的很长一段时间内是性能最好的分类器,它有严密而优美的数学基础作为支撑。在各种机器学习算法中,它是最不易理解的算法之一,要真正掌握它的原理有一定的难度...

1.2K10
来自专栏SnailTyan

YOLO,You Only Look Once论文翻译——中英文对照

You Only Look Once: Unified, Real-Time Object Detection Abstract We present YOLO...

33800
来自专栏PPV课数据科学社区

干货:Excel图解卷积神经网络结构

先坦白地说,有一段时间我无法真正理解深度学习。我查看相关研究论文和文章,感觉深度学习异常复杂。我尝试去理解神经网络及其变体,但依然感到困难。

14120

扫码关注云+社区

领取腾讯云代金券