AI与深度学习-2017年总结

2017年AI界出现了很多进展，虽说没有像之前CNN、RNN、GAN出现时的转折，但也有很大的突破，特别是当Alpha Zero出现，强化学习的地位一下子飞升。下面将从算法、模型、框架以及数据出发，简单总结一下2017年的动态。

No.1 算法

强化学习当属2017年的重头戏，从AlphaZero出现并战胜AlphaGo开始引爆。AlphaGo是基于历史数据进行有监督学习，进阶版本的Alpha Master是通过self-learning自己与自己对战不断提升得到。但AlphaZero是通过强化学习从零开始学习，定义好游戏规则，算法中选用两个Agent，选取policy作用，作用完后得到反馈的reward不断迭代优化。启发式的搜索算法也因为强化学习又一次被关注。目前强化学习仅仅在二人对战的游戏中使用，例如Google DeepMind在2017年发布了1v1的Dota2对战成绩，在多人对战以及多人游戏仍在继续研究。有可能在2018年见证Dota2 5v5的机器对战。

进化算法作为另一种启发式的搜索算法在2017年也得到了突破。一方面由于进化算法复杂度低，可以在大规模的CPU上进行训练；另一方面，对于神经网络算法一般采用梯度下降的方法，如果数据稀疏或者错误数据较多会比较麻烦，而进化算法可以很好地避免这一问题。在2017年底，Uber的一个团队发布了一篇博客，提出遗传算法（GA）的潜力，使用简单的遗传决策就能做好游戏policy（https://eng.uber.com/deep-neuroevolution/）。

No.2 模型

模型上的改进值得一提的是Attention Mechanism（注意力机制），各种变型各种应用，最早出现在图像，后来用于自然语言处理。注意力机制有很多种分类，2017年的主要突破有self-attention，cross-attention，structured-attention等，有兴趣的同学可以阅读相关论文了解详情。

模型上另外一种改进是引入了强化学习，构建深度强化学习模型。一般是使用深度学习做特征表达，然后使用强化学习搜索structure，再利用这种比较好的特征表达再次学习。具体可以参考论文”A Deep Reinforcement LearningChatbot”。

No. 3 数据

没有数据就不能做深度学习，2017年开源的数据主要包括：

Youtube Bounding Boxes

Google QuickDraw Data

DeepMind Open Source Datasets

Google Speech Commands Dataset

Atomic Visual Actions

Several updates to the Open Images data set

Nsynth dataset of annotated musical notes

Quora Question Pairs

No.4 深度学习框架

深度学习框架在2017年可谓是飞速发展，最值得一提的是两个：（1）Facebook等公司联合发布的Pytorch，相比早前谷歌发布的tensorflow能够支持动态图计算，之前版本的tensorflow只能先在python部分定义好网络，然后给backend的C代码运行，这不能修改网络不能给出网络中间结果，很不方便。感谢Facebook，感谢Pytorch。（2）得益于Pytorch的发布，google估计害怕丢失用户，立马修改tensorflow，在2017年尾发布了能够支持动态图计算的tensorflow版本。

No. 5 业界动态

李飞飞携手谷歌在中国北京建立谷歌中国区AI研究院；李航加入头条；Andrew离开百度；百度IDL又引入三位学术界大佬；多家公司的无人驾驶已经上路；谷歌的TPU已经在云平台可用；阿里部署无人超市等。

当然还存在一些吹嘘过头的，例如IBM的沃森、以及医疗方面的AI助手等。

No. 6 强化学习资源

UCL DavidSilver的强化学习课程：http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html

RichardS. Sutton and Andrew G. Barto的强化学习书籍