专栏首页Pytorch实践AI与深度学习-2017年总结

AI与深度学习-2017年总结

2017年AI界出现了很多进展,虽说没有像之前CNN、RNN、GAN出现时的转折,但也有很大的突破,特别是当Alpha Zero出现,强化学习的地位一下子飞升。下面将从算法、模型、框架以及数据出发,简单总结一下2017年的动态。

No.1 算法

强化学习当属2017年的重头戏,从AlphaZero出现并战胜AlphaGo开始引爆。AlphaGo是基于历史数据进行有监督学习,进阶版本的Alpha Master是通过self-learning自己与自己对战不断提升得到。但AlphaZero是通过强化学习从零开始学习,定义好游戏规则,算法中选用两个Agent,选取policy作用,作用完后得到反馈的reward不断迭代优化。启发式的搜索算法也因为强化学习又一次被关注。目前强化学习仅仅在二人对战的游戏中使用,例如Google DeepMind在2017年发布了1v1的Dota2对战成绩,在多人对战以及多人游戏仍在继续研究。有可能在2018年见证Dota2 5v5的机器对战。

进化算法作为另一种启发式的搜索算法在2017年也得到了突破。一方面由于进化算法复杂度低,可以在大规模的CPU上进行训练;另一方面,对于神经网络算法一般采用梯度下降的方法,如果数据稀疏或者错误数据较多会比较麻烦,而进化算法可以很好地避免这一问题。在2017年底,Uber的一个团队发布了一篇博客,提出遗传算法(GA)的潜力,使用简单的遗传决策就能做好游戏policy(https://eng.uber.com/deep-neuroevolution/)。

No.2 模型

模型上的改进值得一提的是Attention Mechanism(注意力机制),各种变型各种应用,最早出现在图像,后来用于自然语言处理。注意力机制有很多种分类,2017年的主要突破有self-attention,cross-attention,structured-attention等,有兴趣的同学可以阅读相关论文了解详情。

模型上另外一种改进是引入了强化学习,构建深度强化学习模型。一般是使用深度学习做特征表达,然后使用强化学习搜索structure,再利用这种比较好的特征表达再次学习。具体可以参考论文”A Deep Reinforcement LearningChatbot”。

No. 3 数据

没有数据就不能做深度学习,2017年开源的数据主要包括:

Youtube Bounding Boxes

Google QuickDraw Data

DeepMind Open Source Datasets

Google Speech Commands Dataset

Atomic Visual Actions

Several updates to the Open Images data set

Nsynth dataset of annotated musical notes

Quora Question Pairs

No.4 深度学习框架

深度学习框架在2017年可谓是飞速发展,最值得一提的是两个:(1)Facebook等公司联合发布的Pytorch,相比早前谷歌发布的tensorflow能够支持动态图计算,之前版本的tensorflow只能先在python部分定义好网络,然后给backend的C代码运行,这不能修改网络不能给出网络中间结果,很不方便。感谢Facebook,感谢Pytorch。(2)得益于Pytorch的发布,google估计害怕丢失用户,立马修改tensorflow,在2017年尾发布了能够支持动态图计算的tensorflow版本。

No. 5 业界动态

李飞飞携手谷歌在中国北京建立谷歌中国区AI研究院;李航加入头条;Andrew离开百度;百度IDL又引入三位学术界大佬;多家公司的无人驾驶已经上路;谷歌的TPU已经在云平台可用;阿里部署无人超市等。

当然还存在一些吹嘘过头的,例如IBM的沃森、以及医疗方面的AI助手等。

No. 6 强化学习资源

UCL DavidSilver的强化学习课程:http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html

RichardS. Sutton and Andrew G. Barto的强化学习书籍

本文分享自微信公众号 - CodeInHand(CodeInHand),作者:小左

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习过程中的优化算法

    神经网络的训练过程实质是得到最优化目标函数的过程,常见的目标函数MSE Loss、Cross Entropy Loss、NLL Loss等,网络训练过程就是最小...

    CodeInHand
  • 游戏推动微信小程序生态,跳一跳小游戏开发

    CodeInHand
  • 一文了解区块链的发展

    比特币与区块链的关系 一句话概括,“比特币是应用,区块链是技术;区块链对于比特币,就像因特网对于App应用”。区块链的本质就是一种基于数字加密技术和分布式网络技...

    CodeInHand
  • 2017年最全的数据科学学习计划(完结篇)

    注: 在PPV课微信公众号回复“数据科学计划”获取PDF全文,内附学习资料网址推荐,让学习直达源头,不用找度娘更省心! 本文为2017年最全的数据科学学习计划(...

    小莹莹
  • 深度挖掘梯度下降算法原理

    深度学习的三个重要部分包括损失函数、优化算法以及激活函数。通常在深度学习的问题中都会针对某一问题定义相应的损失函数,然后使用优化算法找到使损失函数最小的权重,所...

    深度学习与Python
  • 做网站知识之域名解析易懂介绍

    公司在做网站时,在购买了域名、主机空间、及网站源代码和数据库都做好了之后,如果网站备案通过了,就可以做域名解析,如果解析设置没有问题,10分钟之后网站就可正常打...

    天津做网站-美耐思
  • 学界 | 量化评估、算法拓展:强化学习研究的10大原则

    今年9月份举办的深度学习Indaba2018峰会的干货确实不少,昨天文摘菌给大家整理了27位大咖关于自然语言处理的精彩问答。今天文摘菌再给大家整理一份关于强化学...

    大数据文摘
  • 工作流引擎在有赞 DevOps 中的实践

    随着有赞规模的增长, 运维的事务也日益复杂, 如何能更加高效的协调好开发, 运维, 工具与流程之间的关系, 把运维人员从低效率, 高强度, 易犯错的人工操作中彻...

    有赞coder
  • MySQL Python 语法

    MySQL 可应用于多种语言,包括 PERL, C, C++, JAVA 和 PHP。 在这些语言中,Mysql在PHP的web开发中是应用最广泛。 在本教程中...

    Rare0716
  • 逻辑回归

    LR主要思想是: 根据现有数据对分类边界线(Decision Boundary)建立回归公式,以此进行分类。

    week

扫码关注云+社区

领取腾讯云代金券