专栏首页机器之心优化算法领军人物带你概览机器学习算法,蓝光辉教授新书面世

优化算法领军人物带你概览机器学习算法,蓝光辉教授新书面世

机器之心报道

机器之心编辑部

蓝光辉教授的最新专著系统地介绍了机器学习算法基础概念和近期进展,尤其是基于优化方法的算法。

机器学习算法领域近期出现了大量研发进展,但目前社区尚缺乏对机器学习算法基础概念和近期进展的系统性介绍,尤其是基于随机优化方法、随机算法、非凸优化、分布式与在线学习,以及无投影方法的机器学习算法。

最近,佐治亚理工终身教授蓝光辉发表了一本关于机器学习算法的专著《First-order and Stochastic Optimization Methods for Machine Learning》。

这本专著具备以下特点:

  • 覆盖从基础构造块到精心设计的复杂算法等详实内容;
  • 用教程的形式介绍了机器学习算法领域的近期进展;
  • 面向机器学习、人工智能和数学规划社区的广大研究人员;
  • 每一章节后都附有练习。

写作初衷:系统梳理优化算法的进展

在该书序言部分,蓝光辉教授介绍了写作此书的初衷:

优化在数据科学中一直发挥重要作用。很多统计和机器学习模型的分析与解决方法都依赖于优化。但是,近期社区对计算数据分析优化的兴趣往往伴随着一些难题。高维度、大型数据规模、内在不确定性、无法避免的非凸问题,以及实时和分布式设置的要求,给现有的优化方法带来了大量困难。

在过去十年中,为解决以上挑战,优化算法在设计和分析方面出现了巨大进步。然而,这些进步分散在多个不同学科的大量文献中,缺乏系统性的梳理。而这使得年轻研究人员更难进入优化算法领域,更难构建必要的基础知识、了解目前的前沿成果,以及推动该领域的发展。

这本书尝试用更有条理的方式介绍领域进展,主要聚焦于已得到广泛应用或具备大规模机器学习和数据分析应用潜力的优化算法,包括一阶方法、随机优化方法、随机和分布式方法、非凸随机优化方法、无投影方法,以及算子滑动和分散式方法。

本书的写作目标是介绍基础算法机制,它们能在不同环境设置下提供最优性能保障。不过在探讨算法之前,本书首先简要介绍了多个常见的机器学习模型和一些重要的优化理论,希望借此为初学者提供良好的理论基础。

此外,蓝教授表示这本书的目标读者是对优化算法及其在机器学习和人工智能中的应用感兴趣的研究生和高年级本科生,也可以作为更高阶研究人员的参考书目。这本书的最初版本已经作为佐治亚理工学院高年级本科生和博士课程的教材。

核心内容

这本书共包括八个章节,涵盖机器学习模型、凸优化、非凸优化、无投影方法等内容,是对优化算法近期进展的一次系统性梳理。

核心内容如下所示:

目前,该书已在 SpringerLink 上线,读者可点击以下网址阅读此书。

书籍链接:https://www.springer.com/gp/book/9783030395674

作者简介

本书作者蓝光辉教授,博士毕业于佐治亚理工学院,目前任教于佐治亚理工 H. Milton Stewart 工业和系统工程学院。此外,他还担任《Computational Optimization and Applications》、优化算法顶级期刊《Mathematical Programming》和《SIAM Journal on Optimization》等杂志的副主编,是国际机器学习和深度学习算法方向的顶级专家。

蓝光辉教授专注于计算机科学领域的基础研究,他的研究方向包括:随机优化和非线性规划的理论、算法和应用,包括随机梯度下降和加速随机梯度下降,以及用于解决随机凸和非凸优化问题。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 专访乔治亚理工终身教授蓝光辉: 开创随机加速梯度法助力深度学习

    机器之心原创 作者:李泽南 蓝光辉教授,博士毕业于乔治亚理工学院,目前任教于乔治亚理工 H. Milton Stewart 工业和系统工程学院,他还担任着《Co...

    机器之心
  • 春招已近,这份GitHub万星的ML算法面试大全请收下

    如下所示为整个项目的结构,其中从机器学习到数学主要提供的是笔记与面试知识点,读者可回顾整体的知识架构。后面从算法到笔试面经主要提供的是问题及解答方案,根据它们可...

    机器之心
  • 演讲 | 今日头条AI技术沙龙马毅:低维模型与深度模型的殊途同归

    机器之心原创 作者:邱陆陆 上周,今日头条人工智能实验室在清华大学举办了第二期 AI 技术沙龙,邀请到上海科技大学信息科学与技术学院的马毅教授带来题为「高维数据...

    机器之心
  • 专访乔治亚理工终身教授蓝光辉: 开创随机加速梯度法助力深度学习

    机器之心原创 作者:李泽南 蓝光辉教授,博士毕业于乔治亚理工学院,目前任教于乔治亚理工 H. Milton Stewart 工业和系统工程学院,他还担任着《Co...

    机器之心
  • Deep Learning Book 中文第八章 深度学习模型中的优化

    学习和优化的差异;神经网络的优化挑战;参数初始化策略;自适应学习率算法;二阶近似方法;优化技巧和元算法:batch normalization;

    用户1908973
  • 如何选择Microsoft Azure机器学习算法

    编者按:机器学习的算法很多,如何选择一直是初学者的一个痛点。本文给出了机器学习算法选择的方法和实例,不仅适用于Microsoft Azure框架,同样可以应用于...

    小莹莹
  • 自动驾驶中机器学习算法应用大盘点

    今天,机器学习算法被广泛应用于解决自动驾驶汽车制造的各种挑战问题中。人类将传感器数据处理集成到汽车的ECU(电子控制单元)中。 提高机器学习的利用率去完成新...

    AiTechYun
  • 透过现象看机器学习:奥卡姆剃刀,没有免费的午餐,丑小鸭定理等

    寄语:本文对PAC学习理论、没有免费的午餐定理、丑小鸭定理、奥卡姆剃刀原理等机器学习中有名的理论或定理进行了详细的梳理。

    Datawhale
  • 牛逼了,原来大神都是这样学算法的...

    我们都知道,程序员是一个典型拼能力的岗位。那些足够优秀的人,本科毕业 3 年就可以年薪 50w+,这样的案例很多,很多就在你的身边。

    GitHubDaily
  • 浅谈FRVT人脸识别测评

    最近,相关科技媒体报道了最新一期的NIST人脸识别测评比赛,在仔细阅读了FRVT官方发布文档之后,发现国内有些媒体报道不是特别准确,因此在这篇报道中,结合自己专...

    马上科普尚尚

扫码关注云+社区

领取腾讯云代金券