机器学习人工学weekly-12/3/2017

第一次发内容,就从Hinton老人家的capsules开始吧。注意下面很多链接需要翻墙。 1. Hinton老人家早就看convolution network不爽,之前在很多场合都说CNN有问题(比如在Toronto, MIT和Stanford的讲座),capsules也是研究了很久。基本上CNN只能认出某个物体在图片里面移动了位置(invariance),如果有了转动或者缩放之类就不行了,无法实现equivariance,这个对computer vision是个大问题,比如把图片上下翻转就认不出来了,所以Hinton提出了capsules输出多维pose vector作为下一层的输入,同时使用routing by agreement算法来解决这个问题 Hinton在Toronto的讲座:

https://www.youtube.com/watch?v=Jv1VDdI4vy4

Hinton等人的两篇论文: Dynamic Routing Between Capsules: https://arxiv.org/pdf/1710.09829.pdf Matrix Capsules WITH EM routing: https://openreview.net/pdf?id=HJWLfGWRb Medium上比较好的解读文章: https://towardsdatascience.com/demystifying-matrix-capsules-with-em-routing-part-1-overview-2126133a8457 https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b YouTube视频讲解: https://www.youtube.com/watch?v=pPN8d0E3900&t=1185s https://www.youtube.com/watch?v=2Kawrd5szHE (TF实现capsules network) Github实现: TF: https://github.com/naturomics/CapsNet-Tensorflow PyTorch: https://github.com/gram-ai/capsule-networks

2. 这周终于听完了The Talking Machine podcast。唯一一个听了3遍还想再听的podcast,采访的除了3大,吴恩达,还有 David Blei(topic models大牛,Michael Jordan的学生,LDA的主要发明人) Zoubin Ghahramani(也是Jordan的学生,贝叶斯学习大牛) Jeff Dean(Google工程之神), Kevin Murphy(Machine Learning: A Probabilistic Perspective作者,Google大牛,写的书被广泛当作机器学习教材) Ilya Sutskever(OpenAI director,Hinton学生,AlexNet合作者之一,在Google的时候发明了seq2seq,机器翻译现在基本都是用这个模型加上少许改进,比如attention) Hugo Larochelle(Toronto一派,之前跟Ryan Adams等创办whetlab卖给了Twitter,现在lead Google Brain Montreal) Nando de Freitas(牛津教授,现在在DeepMind做增强学习) 除了Ryan Adams(哈佛教授,现在在Google主攻Bayesian non-parametric)这种横跨MIT/Harvard/Cambridge/CMU/Toronto/Twitter/Google的神人,估计很难请的动这些人。希望Neil Lawrence能延续辉煌。这个podcast最大的好处就是他谈论机器学习的广度,不止局限于deep learning,各种经典的方法Gaussain Process, SVP, kernel methods, Bayesian,evoluationary algorithm都有,强烈推荐

podcast链接:

http://thetalkingmachines.com/

3. 陆奇(百度COO)在YCombinator峰会上的一个访谈,我觉得讲的非常好。比如他说AI在中国的应用前景和数据收集要比在美国好的多,政府也非常重视,但是目前最顶尖的研究机构比如DeepMind和OpenAI,短期之内还不太会出现在中国。另外他讲到做engineering大老板的时候怎么不被下面的人BS,他说be able to do the jobs 2 levels down,我觉得这个说的非常好;他还谈到了engineering culture等等。这个视频完全颠覆了我对陆奇的看法,我现在觉得他是个很强的leader,百度只要其他部门不搞事(比如销售),还是有望上升的 采访视频:

https://www.youtube.com/watch?v=WSydk0XzxEE)

4. Rich Sutton(增强学习鼻祖)的书《增强学习》第二版终于快写完了 ,这书是搞增强学习必看,如果你不是只简单调用一下DQN或者policy gradient

电子书链接:

http://incompleteideas.net/sutton/book/bookdraft2017nov5.pdf

另外暑假的时候在Berkeley有一个增强学习的bootcamp,请的也都是一些RL领域大牛,比如Pieter Abbeel(Berkeley,最近刚离开OpenAI和两个中国学生Rocky Duan/Peter Chen创办Embodied Intelligence),Sergey Levine(Berkeley+Google,最早把RL应用到robotics上较为成功的人,发明了guided policy search), Vlad Mnih(DeepMind, DQN和A3C发明人), Chelsea Finn(Berkeley,绝对的RL女神), John Schulman(OpenAI, TRPO/PPO发明人)等等

视频链接:

https://sites.google.com/view/deep-rl-bootcamp/lectures

5. 机器人学习大会CoRL的视频出来了,集合了很多机器人领域的大牛,值得一看

视频链接:

http://www.robot-learning.org/

原文发布于微信公众号 - 机器学习人工学weekly(MLandHuman)

原文发表时间:2017-12-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

机器学习资料与攻略超强整理吐血推荐

? 作者:白马负金羁 来源: http://www.zggsby.com/baimafujinji/article/details/55826409 016年...

5088
来自专栏测试开发架构之路

全息投影技术及其实现(附素材下载)

免责声明:文章部分内容来源于友站。 (编译:Torres)我们都一直期待能够用智能手机来投射出全息影像,不过显然现在的智能手机早就具备这样的潜质,只不过你还不知...

60712
来自专栏牛客网

腾讯实习春招-机器学习岗-一面

应用研究-机器学习岗-一面 (总结:全程一小时整;面试官很强我再次认清了自己的下限;抓简历问的很细;你知道的他不会问的,你不知道的他就会问的,所以你要什么细节都...

4005
来自专栏大数据挖掘DT机器学习

R语言学习路线和常用数据挖掘包

对于初学R语言的人,最常见的方式是:遇到不会的地方,就跑到QQ群、论坛上吼一嗓子,然后欣然or悲伤的离去,一直到遇到下一个问题再回来。当然,这不是最好的学习方...

3744
来自专栏数据科学与人工智能

【数据科学家】数据科学家修炼之路

经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书?”类似的问题。下面是一份建议书单,同时也是成为数据科学家的指南,当然,这不包括取得合适大学学位的要...

30310
来自专栏量子位

我一个理科生造的AI,怎么就去做历史高考题了呢?

1052
来自专栏AI科技评论

自然语言处理让人类都懵逼,看谷歌人工智能怎么破

GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,雷锋网将发布“人工智能&机器人Top25创新企...

3595
来自专栏大数据文摘

周末阅读:黑洞,发现与拒绝

1272
来自专栏陈灿的专栏

机器学习你不可不懂的线性代数和矩阵微分

本文介绍本人在学习数学以及接触机器学习以来的一些感悟和书单。从大学到研究生,把自己对线性代数和矩阵论一点点感悟和心得发在这里,大家一起进步学习。

1.3K0
来自专栏自然语言处理

Google Plus 文本提取与分析4

特征词/关键词提取最简单最基础的就是TFIDF,记得5年前我同学让我帮做DI-TFIDF的论文,也就只多了个类内离散度(DI),今年阿里校招笔试题都有,用map...

1081

扫码关注云+社区

领取腾讯云代金券