机器学习人工学weekly-2018/3/4

1. RL相关

1.1 inverse RL教程，第一部分就是讲Andrew Ng 20年前的奠基论文（我没读原论文，但是惊讶的发现居然全部是用的LP解的）。这个系列值得跟一下，我记得当时看Chelsea Finn的那篇GAN和IRL的论文完全懵逼，希望看完这个系列以后能懂

Inverse Reinforcement Learning pt. I

链接：https://thinkingwires.com/posts/2018-02-13-irl-tutorial-1.html

1.2 www.argmin.net这个博客值得去follow，作者是Ben Recht（Berkeley教授，NIPS2017 test-of-time award获得者之一），他最近写的RL系列很不错，主要是从optimal control的角度来看RL，跟一般的RL教程不太一样（如果有看过Berkeley Sergey Levine的RL课CS294的话就知道RL其实是optimal control/operations research的交叉学科）

An Outsider’s Tour of Reinforcement Learning

链接：http://www.argmin.net/2018/01/29/taxonomy/

1.3 OpenAI发布新的模拟机器人的环境以及开源的Hindsight Experience Replay算法实现。HER主要是想解决reward shaping以及sparse reward/sample complexity这几个难题，比不成功的trajectory通过变换goal的方式也拿来学习，非常好的idea

Ingredients for Robotics Research

链接：https://blog.openai.com/ingredients-for-robotics-research/

1.4 DeepMind ToMnet (Thoery of Mind)，用POMDP去建模其他agent的行为，这个方向好像工作很少，我觉得以后可能会被用到multi-agent的场景

Machine Theory of Mind

链接：https://arxiv.org/pdf/1802.07740.pdf

1.5 滴滴的一篇用multi-agent RL做车辆调度论文，通过reformulation降低state space维度，并把地理位置，车辆协同等等contextual信息纳入算法，很有意思。我觉得游戏agent也可以参考

Efficient Large-Scale Fleet Management via Multi-Agent Deep Reinforcement Learning

链接：https://arxiv.org/pdf/1802.06444.pdf

1.6 DeepMind UNICORN算法，尝试解决lifelong learning多任务问题

Unicorn: Continual Learning with a Universal, Off-policy Agent

链接：https://arxiv.org/pdf/1802.08294.pdf

1.7 几个RL相关的视频

1.7.1 Joelle Pineau在NIPS上将reproducibility，这个绝对是个大问题，换几个seed结果完全变了，github上相同算法不同实施代码结果也差别巨大，囧

Reproducibility in Deep Reinforcement Learning - Prof. Pineau - NIPS2017

链接：https://www.youtube.com/watch?v=TAMer41J038

1.7.2 Vlad Mnih（DeepMind RL大神，DQN/A3C都是他带头搞出来的）在Toronto讲多任务RL学习，最新的V-Trace off-policy并行算法

Volodymyr Mnih - Efficient Multi-Task Deep Reinforcement Learning

链接：https://www.youtube.com/watch?v=TfhV51cndPY

1.7.3 Ilya Sutskever (大神不用介绍了吧）讲meta-learning

Meta Learning and Self Play

链接：Meta Learning and Self Play

2. 这个教程不错，简短又cover了很多不是deep learning的东西

A Brief Introduction to Machine Learning for Engineers

链接：https://arxiv.org/abs/1709.02840

3. URLNet用character-level和word-level CNN去鉴别某个URL是不是恶意链接，这个可以被用到Chrome等浏览器里面 :)

URLNet: Learning a URL Representation with Deep Learning for Malicious URL Detection

链接：https://arxiv.org/pdf/1802.03162.pdf

4. NVidia提出的fast photo style transfer，用unpooling layer代替WCT里面的upsampling layer，让转化后的图效果变好，速度提高了60倍，很不错的结果

A Closed-form Solution to Photorealistic Image Stylization

链接：https://arxiv.org/pdf/1802.06474.pdf

5. 百度neural voice clone论文，没怎么研究这个领域，不过之前有个朋友跟我说过这个东西的应用，比如给小孩的玩具clone一下父母的生硬，或者给别人clone去世亲人的声音等等，应该还是有些场景可以用的上

Neural Voice Cloning with a Few Samples

链接：http://research.baidu.com/neural-voice-cloning-samples/

6. Batch normalization解释的比较清楚的一篇文章，想到Ali Rahimi在NIPS上说Wouldn't you want to know what 'internal covariate shift' means? 场下大笑 ：）

Training very deep networks with Batchnorm

链接：http://rohanvarma.me/Batch-Norm/

7. 用机器学习预测ICO return，这个很酷

Predicting ICO returns with machine learning

链接：https://medium.com/@MLJARofficial/predicting-ico-returns-with-machine-learning-af6108ab9e39

8. Lifelong learning终生学习survey文

Continual Lifelong Learning with Neural Networks: A Review

链接：https://arxiv.org/abs/1802.07569?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

10. 工具/教程/学习资源

10.1 spaCy教程，自然语言处理工具，可以学学

链接：https://gist.github.com/aparrish/f21f6abbf2367e8eb23438558207e1c3

10.2 Propel机器学习JS库，可以调用GPU。JS项目github上很多，这个看起来比较靠谱

链接：http://propelml.org/

10.3 PyTorch简明教程

A Promenade of PyTorch

链接：http://www.goldsborough.me/ml/ai/python/2018/02/04/20-17-20-a_promenade_of_pytorch/

作者之前也写了TF简明教程

A Sweeping Tour of TensorFlow

链接：http://www.goldsborough.me/tensorflow/ml/ai/python/2017/06/28/20-21-45-a_sweeping_tour_of_tensorflow/

10.4 用Google Sheet做一个CNN，其实基本上就是fastai课程上将的内容，可以自己练一练

Building a Deep Neural Net In Google Sheets

链接：https://towardsdatascience.com/building-a-deep-neural-net-in-google-sheets-49cdaf466da0

10.5 DeepPavalov一个开源的end-to-end对话系统，感觉类似API.AI的backend，不过chatbot这玩意儿没火起来，可惜了

链接：https://github.com/deepmipt/DeepPavlov?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

10.6 Google把之前零散发布的AI学习资源整合起来了放到一个叫Learning with Google AI的项目上了，包括TF, Cloud, ML概念等等

链接：https://ai.google/education/#?modal_active=none

10.7 TF 1.6发布

链接：https://github.com/tensorflow/tensorflow/releases/tag/v1.6.0

*不懂生物，不过这个课看起来挺适合搞生物的同学

Stanford CS522 Machine Learning Approaches to Decode the Human Genome

链接：http://cs522.stanford.edu/notes/anshulkundaje.html

**Uber也学Google/Facebook搞AI Residency啦，有兴趣的同学可以去试试

Introducing the Uber AI Residency

链接：https://eng.uber.com/uber-ai-residency/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI