第一次发内容,就从Hinton老人家的capsules开始吧。注意下面很多链接需要访问外国网站。 1. Hinton老人家早就看convolution network不爽,之前在很多场合都说CNN有问题(比如在Toronto, MIT和Stanford的讲座),capsules也是研究了很久。基本上CNN只能认出某个物体在图片里面移动了位置(invariance),如果有了转动或者缩放之类就不行了,无法实现equivariance,这个对computer vision是个大问题,比如把图片上下翻转就认不出来了,所以Hinton提出了capsules输出多维pose vector作为下一层的输入,同时使用routing by agreement算法来解决这个问题 Hinton在Toronto的讲座:
https://www.youtube.com/watch?v=Jv1VDdI4vy4
Hinton等人的两篇论文: Dynamic Routing Between Capsules: https://arxiv.org/pdf/1710.09829.pdf Matrix Capsules WITH EM routing: https://openreview.net/pdf?id=HJWLfGWRb Medium上比较好的解读文章: https://towardsdatascience.com/demystifying-matrix-capsules-with-em-routing-part-1-overview-2126133a8457 https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b YouTube视频讲解: https://www.youtube.com/watch?v=pPN8d0E3900&t=1185s https://www.youtube.com/watch?v=2Kawrd5szHE (TF实现capsules network) Github实现: TF: https://github.com/naturomics/CapsNet-Tensorflow PyTorch: https://github.com/gram-ai/capsule-networks
2. 这周终于听完了The Talking Machine podcast。唯一一个听了3遍还想再听的podcast,采访的除了3大,吴恩达,还有 David Blei(topic models大牛,Michael Jordan的学生,LDA的主要发明人) Zoubin Ghahramani(也是Jordan的学生,贝叶斯学习大牛) Jeff Dean(Google工程之神), Kevin Murphy(Machine Learning: A Probabilistic Perspective作者,Google大牛,写的书被广泛当作机器学习教材) Ilya Sutskever(OpenAI director,Hinton学生,AlexNet合作者之一,在Google的时候发明了seq2seq,机器翻译现在基本都是用这个模型加上少许改进,比如attention) Hugo Larochelle(Toronto一派,之前跟Ryan Adams等创办whetlab卖给了Twitter,现在lead Google Brain Montreal) Nando de Freitas(牛津教授,现在在DeepMind做增强学习) 除了Ryan Adams(哈佛教授,现在在Google主攻Bayesian non-parametric)这种横跨MIT/Harvard/Cambridge/CMU/Toronto/Twitter/Google的神人,估计很难请的动这些人。希望Neil Lawrence能延续辉煌。这个podcast最大的好处就是他谈论机器学习的广度,不止局限于deep learning,各种经典的方法Gaussain Process, SVP, kernel methods, Bayesian,evoluationary algorithm都有,强烈推荐
podcast链接:
http://thetalkingmachines.com/
3. 陆奇(百度COO)在YCombinator峰会上的一个访谈,我觉得讲的非常好。比如他说AI在中国的应用前景和数据收集要比在美国好的多,政府也非常重视,但是目前最顶尖的研究机构比如DeepMind和OpenAI,短期之内还不太会出现在中国。另外他讲到做engineering大老板的时候怎么不被下面的人BS,他说be able to do the jobs 2 levels down,我觉得这个说的非常好;他还谈到了engineering culture等等。这个视频完全颠覆了我对陆奇的看法,我现在觉得他是个很强的leader,百度只要其他部门不搞事(比如销售),还是有望上升的 采访视频:
https://www.youtube.com/watch?v=WSydk0XzxEE)
4. Rich Sutton(增强学习鼻祖)的书《增强学习》第二版终于快写完了 ,这书是搞增强学习必看,如果你不是只简单调用一下DQN或者policy gradient
电子书链接:
http://incompleteideas.net/sutton/book/bookdraft2017nov5.pdf
另外暑假的时候在Berkeley有一个增强学习的bootcamp,请的也都是一些RL领域大牛,比如Pieter Abbeel(Berkeley,最近刚离开OpenAI和两个中国学生Rocky Duan/Peter Chen创办Embodied Intelligence),Sergey Levine(Berkeley+Google,最早把RL应用到robotics上较为成功的人,发明了guided policy search), Vlad Mnih(DeepMind, DQN和A3C发明人), Chelsea Finn(Berkeley,绝对的RL女神), John Schulman(OpenAI, TRPO/PPO发明人)等等
视频链接:
https://sites.google.com/view/deep-rl-bootcamp/lectures
5. 机器人学习大会CoRL的视频出来了,集合了很多机器人领域的大牛,值得一看
视频链接:
http://www.robot-learning.org/
本文分享自 机器学习人工学weekly 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!