专栏首页人工智能前沿讲习基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】

基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】

关注文章公众号 回复"王卓琳"获取PPT与视频资料 视频资料可点击下方阅读原文在线观看

导读


鲁棒优化以及分布鲁棒优化问题已经成为当今优化领域的研究热点,在金融,调度以及机器学习等领域中都有着广泛的应用。本文主要介绍基于数据的分布鲁棒优化算法中的建模及其具体应用。

作者简介


王卓琳,清华大学自动化系在读博士,本科毕业于北京师范大学信息科学与技术专业,目前主要研究方向为鲁棒优化及其应用。

王卓琳

1、背景介绍


分布鲁棒优化问题是当前优化领域一个很重要的研究问题,在金融的投资组合理论,库存管理等问题以及机器学习中回归问题,分类问题中都有广泛的应用[1]。该研究问题的主要目标是,在

目标函数中参数以及其对应分布都具有不确定性时,如何对问题进行优化以获得鲁棒解:

2、优化算法


分布鲁棒优化算法的关键在于如何构建分布的不确定集,根据不确定集的形式可以对算法进行分类。

基于矩信息的不确定集[2]认为真实分布包含在一阶矩,二阶矩等满足一定条件的集合中,DRSP问题一般处理困难,只利用了数据的矩信息,忽略了其他数据能提供的有效信息,且计算比较复杂。

另一种常用的方法是利用概率距离构建分布的不确定集,其中Wasserstein距离[3]是一种常用的度量方式,把一个分布P“迁移”成另一个分布Q所需要的最小距离即为两个分布的Wasserstein距离。Wasserstein 距离不仅可以用在分布鲁棒优化问题中。目前有研究人员把它也用在了生成对抗网络里,解决了很多问题

选定概率之间的距离度量后,就可以定义优化问题中的对应的不确定集:

直观上可以认为该不确定集是以经验分布中心,半径为的一个球,球中包含了所有可能的概率分布。基于该不确定集,分布鲁棒优化问题此时可以建模成:

上述问题是一个无限维的优化问题,一般较难求解,但在文献[3]中说明,当目标函数满足一定条件时,分布优化问题可以转化为有限维的凸优化问题,此时问题可以利用现有优化技术进行求解。

3、应用


以机器学习中的经典分类器支持向量机(SVM)为例,认为训练样本具有不确定性且服从某一未知分布,考虑以下基于Wasserstein不确定集的分布鲁棒优化SVM问题:

文献[4]表明,在只考虑样本向量空间不确定性而不考虑标签不确定性时,可以将上述分布鲁棒优化SVM问题转换为增加了一个正则项的软间隔SVM问题:

4、总结分析


此次分享和大家介绍了鲁棒优化和分布鲁棒优化的概率,也介绍了构建分布鲁棒优化问题中不确定集的方法。重点介绍了Wasserstein不确定集以及在此不确定集下分布鲁棒优化算法的建模和应用。

5、参考文献


[1] Bertsimas D, Brown D B, Caramanis C.Theory and Applications of Robust Optimization[J]. Siam Review, 2010,53(3):464-501.

[2] Delage E, Ye Y. Distributionally RobustOptimization Under Moment Uncertainty with Application to Data-DrivenProblems[J]. Operations Research, 2010, 58(3):595-612.

[3] Mohajerin Esfahani P , Kuhn D .Data-driven distributionally robust optimization using the Wasserstein metric:performance guarantees and tractable reformulations[J]. MathematicalProgramming, 2018, 171(1-2):1-52.

[4] Shafieezadehabadeh S, Kuhn D, Esfahani P M. Regularization via MassTransportation[J]. 2017.

SFFAI讲者招募

为了满足人工智能不同领域研究者相互交流、彼此启发的需求,我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动,邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果,使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展,将对线下讨论的内容进行线上传播,使后来者少踩坑,也为讲者塑造个人影响力。

SFFAI还将构建人工智能领域的知识树(AI Knowledge Tree),通过汇总各位参与者贡献的领域知识,沉淀线下分享的前沿精华,使AI Knowledge Tree枝繁叶茂,为人工智能社区做出贡献。

这项意义非凡的社区工作正在稳步向前,衷心期待和感谢您的支持与奉献!

有意加入者请与我们联系:wangxl@mustedu.cn

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier),作者:Must

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【AIDL专栏】王立威:机器学习理论的回顾与展望(附PPT下载)

    “人工智能前沿讲习班”(AIDL)由中国人工智能学会主办,旨在短时间内集中学习某一领域的基础理论、最新进展和落地方向,并促进产、学、研相关从业人员的相互交流。对...

    马上科普尚尚
  • AI综述专栏 | 跨领域推荐系统文献综述(上)

    跨领域推荐系统(Cross domain recommender systems,CDRS)能够通过源领域的信息对目标领域进行辅助推荐,CDRS由三个基本要素构...

    马上科普尚尚
  • 语音识别的前沿论文,看我们推荐的这4篇

    近年来智能语音进入了快速增长期,语音识别作为语音领域的重要分支获得了广泛的关注,如何提高声学建模能力和如何进行端到端的联合优化是语音识别领域中的重要课题。

    马上科普尚尚
  • solr_架构案例【京东站内搜索】(附程序源代码)

    注意事项:首先要保证部署solr服务的Tomcat容器和检索solr服务中数据的Tomcat容器,它们的端口号不能发生冲突,否则web程序是不可能运行起来的。 ...

    赵小忠
  • Linux配置maven环境

    注:http://mirror.bit.edu.cn为北京理工大学开源软件镜像服务站

    华创信息技术
  • git 回滚到任意版本

    小蔚
  • Java Web project with Maven

    最近需要构建一个Java web项目,然后做文本分析和挖掘,于是又体验了下Maven构建Java Web项目的快感。

    宅男潇涧
  • maven导入jar包到本地仓库

    很多时候通过maven来远程下载jar包,由于网速或者仓库地址问题导致下载失败或者非常缓慢。还有一种情况是,我们用的一些三方jar包,中央仓库并没有,比如一些开...

    用户7634691
  • MYSQL SHELL 到底是个什么局 剑指 “大芒果”

    如果在WINDOWS上想链接在LINUX上的MYSQL有什么方法,windows上各种GUI,还是打开MYSQL那个原本黑漆漆的小方格。现在你有了新的选,MYS...

    AustinDatabases
  • CAS单点登录系列之极速入门与实战教程(4.2.7)

    单点登录(Single sign on),英文名称缩写SSO,SSO的意思就是在多系统的环境中,登录单方系统,就可以在不用再次登录的情况下访问相关受信任的系统。...

    SmileNicky

扫码关注云+社区

领取腾讯云代金券