机器学习人工学weekly-2018/2/18

新年快乐！

注意下面很多链接都需要翻墙，无奈国情如此。

1. RL相关

1.1 DeepMind发布IMPALA算法和新的RL测试环境DMLab-30

IMPALA主要是利用了新提出的V-trace operator进行off-policy学习，还针对TF/cuDNN做了很多优化，最后效果是实现了在Atari 57个游戏任务里面一定程度上的transfer learning

DMLab-30里面有30个新的任务，有些要测试long term memory，有些要测试自然语言理解

IMPALA: Scalable Distributed DeepRL in DMLab-30

blog链接：https://deepmind.com/blog/impala-scalable-distributed-deeprl-dmlab-30/

1.2 这里有一篇讲RL bias/variance tradeoff的文章，我觉得写的非常好，这个题目以前从来没有看到有人谈到过。Arthur Juliani这个人的medium blog值得follow一下，他之前也写过一系列RL的文章都很不错，原来去了Unity实习

链接：https://medium.com/mlreview/making-sense-of-the-bias-variance-trade-off-in-deep-reinforcement-learning-79cf1e83d565

1.3 RL批判长文（作者在Google Brain，年轻有为，他的blog很不错），其实也不是批判了，就是指出RL现在的各种问题，比如sample efficiency地下，reward设计难度搞，容易陷入奇怪local optima，generalization很难等等问题，写的非常好，强烈推荐

链接：https://www.alexirpan.com/2018/02/14/rl-hard.html

1.4 地平线发的一篇RL开自驾车的论文，用的DQN，虽然我不太懂自驾车，但是这个蛮有意思的

链接：https://arxiv.org/pdf/1802.00332.pdf

2. keras blog上的guest post，用keras+flask搭建一个简单的图像识别服务器教程，非常简单，当然有链接到一个更复杂适合生产系统的文章。作者的书Deep learning for computer vision with python看着也不错

Building a simple Keras + deep learning REST API

链接：https://blog.keras.io/building-a-simple-keras-deep-learning-rest-api.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=Deep%20Learning%20Weekly

3. 魔高一尺，道高一丈，魔再高一尺。这个就是针对深度学习的defense to adversarial attacks。这篇ICLR文章就是针对ICLR接受的8篇defense文章的反击，ICLR还没开就已经攻破了其中7个防御 :)

链接：https://arxiv.org/pdf/1802.00420.pdf

4. 新提出的nested LSTM，即在LSTM里面嵌入另一个LSTM，比stack起来的多层LSTM效果还好

链接：https://arxiv.org/pdf/1801.10308.pdf