机器学习人工学weekly-12/3/2017

第一次发内容，就从Hinton老人家的capsules开始吧。注意下面很多链接需要访问外国网站。 1. Hinton老人家早就看convolution network不爽，之前在很多场合都说CNN有问题（比如在Toronto, MIT和Stanford的讲座），capsules也是研究了很久。基本上CNN只能认出某个物体在图片里面移动了位置（invariance），如果有了转动或者缩放之类就不行了，无法实现equivariance，这个对computer vision是个大问题，比如把图片上下翻转就认不出来了，所以Hinton提出了capsules输出多维pose vector作为下一层的输入，同时使用routing by agreement算法来解决这个问题 Hinton在Toronto的讲座:

https://www.youtube.com/watch?v=Jv1VDdI4vy4

Hinton等人的两篇论文: Dynamic Routing Between Capsules: https://arxiv.org/pdf/1710.09829.pdf Matrix Capsules WITH EM routing: https://openreview.net/pdf?id=HJWLfGWRb Medium上比较好的解读文章： https://towardsdatascience.com/demystifying-matrix-capsules-with-em-routing-part-1-overview-2126133a8457 https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b YouTube视频讲解： https://www.youtube.com/watch?v=pPN8d0E3900&t=1185s https://www.youtube.com/watch?v=2Kawrd5szHE （TF实现capsules network） Github实现: TF: https://github.com/naturomics/CapsNet-Tensorflow PyTorch: https://github.com/gram-ai/capsule-networks

2. 这周终于听完了The Talking Machine podcast。唯一一个听了3遍还想再听的podcast，采访的除了3大，吴恩达，还有 David Blei（topic models大牛，Michael Jordan的学生，LDA的主要发明人） Zoubin Ghahramani（也是Jordan的学生，贝叶斯学习大牛） Jeff Dean（Google工程之神）, Kevin Murphy（Machine Learning: A Probabilistic Perspective作者，Google大牛，写的书被广泛当作机器学习教材） Ilya Sutskever（OpenAI director，Hinton学生，AlexNet合作者之一，在Google的时候发明了seq2seq，机器翻译现在基本都是用这个模型加上少许改进，比如attention） Hugo Larochelle（Toronto一派，之前跟Ryan Adams等创办whetlab卖给了Twitter，现在lead Google Brain Montreal） Nando de Freitas（牛津教授，现在在DeepMind做增强学习） 除了Ryan Adams（哈佛教授，现在在Google主攻Bayesian non-parametric）这种横跨MIT/Harvard/Cambridge/CMU/Toronto/Twitter/Google的神人，估计很难请的动这些人。希望Neil Lawrence能延续辉煌。这个podcast最大的好处就是他谈论机器学习的广度，不止局限于deep learning，各种经典的方法Gaussain Process, SVP, kernel methods, Bayesian，evoluationary algorithm都有，强烈推荐

podcast链接：

http://thetalkingmachines.com/

3. 陆奇（百度COO）在YCombinator峰会上的一个访谈，我觉得讲的非常好。比如他说AI在中国的应用前景和数据收集要比在美国好的多，政府也非常重视，但是目前最顶尖的研究机构比如DeepMind和OpenAI，短期之内还不太会出现在中国。另外他讲到做engineering大老板的时候怎么不被下面的人BS，他说be able to do the jobs 2 levels down，我觉得这个说的非常好；他还谈到了engineering culture等等。这个视频完全颠覆了我对陆奇的看法，我现在觉得他是个很强的leader，百度只要其他部门不搞事（比如销售），还是有望上升的 采访视频：

https://www.youtube.com/watch?v=WSydk0XzxEE）

4. Rich Sutton（增强学习鼻祖）的书《增强学习》第二版终于快写完了 ，这书是搞增强学习必看，如果你不是只简单调用一下DQN或者policy gradient

电子书链接：

http://incompleteideas.net/sutton/book/bookdraft2017nov5.pdf

另外暑假的时候在Berkeley有一个增强学习的bootcamp，请的也都是一些RL领域大牛，比如Pieter Abbeel(Berkeley，最近刚离开OpenAI和两个中国学生Rocky Duan/Peter Chen创办Embodied Intelligence)，Sergey Levine(Berkeley+Google，最早把RL应用到robotics上较为成功的人，发明了guided policy search), Vlad Mnih(DeepMind, DQN和A3C发明人), Chelsea Finn(Berkeley，绝对的RL女神), John Schulman(OpenAI, TRPO/PPO发明人)等等

视频链接：

https://sites.google.com/view/deep-rl-bootcamp/lectures

5. 机器人学习大会CoRL的视频出来了，集合了很多机器人领域的大牛，值得一看

视频链接：

http://www.robot-learning.org/