机器学习人工学weekly-12/3/2017

第一次发内容,就从Hinton老人家的capsules开始吧。注意下面很多链接需要翻墙。 1. Hinton老人家早就看convolution network不爽,之前在很多场合都说CNN有问题(比如在Toronto, MIT和Stanford的讲座),capsules也是研究了很久。基本上CNN只能认出某个物体在图片里面移动了位置(invariance),如果有了转动或者缩放之类就不行了,无法实现equivariance,这个对computer vision是个大问题,比如把图片上下翻转就认不出来了,所以Hinton提出了capsules输出多维pose vector作为下一层的输入,同时使用routing by agreement算法来解决这个问题 Hinton在Toronto的讲座:

https://www.youtube.com/watch?v=Jv1VDdI4vy4

Hinton等人的两篇论文: Dynamic Routing Between Capsules: https://arxiv.org/pdf/1710.09829.pdf Matrix Capsules WITH EM routing: https://openreview.net/pdf?id=HJWLfGWRb Medium上比较好的解读文章: https://towardsdatascience.com/demystifying-matrix-capsules-with-em-routing-part-1-overview-2126133a8457 https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b YouTube视频讲解: https://www.youtube.com/watch?v=pPN8d0E3900&t=1185s https://www.youtube.com/watch?v=2Kawrd5szHE (TF实现capsules network) Github实现: TF: https://github.com/naturomics/CapsNet-Tensorflow PyTorch: https://github.com/gram-ai/capsule-networks

2. 这周终于听完了The Talking Machine podcast。唯一一个听了3遍还想再听的podcast,采访的除了3大,吴恩达,还有 David Blei(topic models大牛,Michael Jordan的学生,LDA的主要发明人) Zoubin Ghahramani(也是Jordan的学生,贝叶斯学习大牛) Jeff Dean(Google工程之神), Kevin Murphy(Machine Learning: A Probabilistic Perspective作者,Google大牛,写的书被广泛当作机器学习教材) Ilya Sutskever(OpenAI director,Hinton学生,AlexNet合作者之一,在Google的时候发明了seq2seq,机器翻译现在基本都是用这个模型加上少许改进,比如attention) Hugo Larochelle(Toronto一派,之前跟Ryan Adams等创办whetlab卖给了Twitter,现在lead Google Brain Montreal) Nando de Freitas(牛津教授,现在在DeepMind做增强学习) 除了Ryan Adams(哈佛教授,现在在Google主攻Bayesian non-parametric)这种横跨MIT/Harvard/Cambridge/CMU/Toronto/Twitter/Google的神人,估计很难请的动这些人。希望Neil Lawrence能延续辉煌。这个podcast最大的好处就是他谈论机器学习的广度,不止局限于deep learning,各种经典的方法Gaussain Process, SVP, kernel methods, Bayesian,evoluationary algorithm都有,强烈推荐

podcast链接:

http://thetalkingmachines.com/

3. 陆奇(百度COO)在YCombinator峰会上的一个访谈,我觉得讲的非常好。比如他说AI在中国的应用前景和数据收集要比在美国好的多,政府也非常重视,但是目前最顶尖的研究机构比如DeepMind和OpenAI,短期之内还不太会出现在中国。另外他讲到做engineering大老板的时候怎么不被下面的人BS,他说be able to do the jobs 2 levels down,我觉得这个说的非常好;他还谈到了engineering culture等等。这个视频完全颠覆了我对陆奇的看法,我现在觉得他是个很强的leader,百度只要其他部门不搞事(比如销售),还是有望上升的 采访视频:

https://www.youtube.com/watch?v=WSydk0XzxEE)

4. Rich Sutton(增强学习鼻祖)的书《增强学习》第二版终于快写完了 ,这书是搞增强学习必看,如果你不是只简单调用一下DQN或者policy gradient

电子书链接:

http://incompleteideas.net/sutton/book/bookdraft2017nov5.pdf

另外暑假的时候在Berkeley有一个增强学习的bootcamp,请的也都是一些RL领域大牛,比如Pieter Abbeel(Berkeley,最近刚离开OpenAI和两个中国学生Rocky Duan/Peter Chen创办Embodied Intelligence),Sergey Levine(Berkeley+Google,最早把RL应用到robotics上较为成功的人,发明了guided policy search), Vlad Mnih(DeepMind, DQN和A3C发明人), Chelsea Finn(Berkeley,绝对的RL女神), John Schulman(OpenAI, TRPO/PPO发明人)等等

视频链接:

https://sites.google.com/view/deep-rl-bootcamp/lectures

5. 机器人学习大会CoRL的视频出来了,集合了很多机器人领域的大牛,值得一看

视频链接:

http://www.robot-learning.org/

原文发布于微信公众号 - 机器学习人工学weekly(MLandHuman)

原文发表时间:2017-12-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏自然语言处理

Google Plus 文本提取与分析3

斯坦福大学自然语言处理组是世界知名的NLP研究小组,他们提供了一系列开源的Java文本分析工具,包括分词器(Word Segmenter),词性标注工具(Par...

943
来自专栏AI科技大本营的专栏

牛气!数据挖掘顶级会议KDD2017大奖公布,KDD Cup全被中国人给包了

记者 | 周翔 8 月 13 日至 8 月 17 日,国际数据挖掘领域的顶级会议 ACM SIGKDD 2017 在加拿大的 Halifax 召开。此次大会共有...

2716
来自专栏大数据文摘

“微笑传递”背后的数据分析

1184
来自专栏大数据文摘

10张图片告诉你为什么说数学史也是一部艺术史

1332
来自专栏腾讯高校合作

【犀牛鸟·视野】SIGGRAPH Asia 2017 视觉盛宴精彩回顾

ACM SIGGRAPH Asia 今年是第10届,全球6000名Computer Graphics and Interactive Techniques领域的...

2866
来自专栏机器人网

【妙趣科学】为何难懂女人心,大脑“电路”不一样!

汉子们有没有奇怪过,女人是怎么做到边煲电话粥边涂指甲油,同时还能构思待会出门衣服怎么搭晚上去哪吃?有没有吐槽过路痴为何老是妹子,新手女司机们又总是倒不好车?妹子...

2465
来自专栏思影科技

大话脑成像之四--浅谈近红外脑功能成像

亚洲舞王尼古拉斯.特斯拉喊你来关注思影科技 今天由思影科技给大家简单(xiao sa)的介绍一下功能近红外成像(fNIRS)。 (本图片由岛津公司独家免费赞助)...

2919
来自专栏大数据挖掘DT机器学习

用R语言对上海市链家二手房数据分析

via : https://mp.weixin.qq.com/s/DS4fFs0-rLD0UPkdTwQ5k 如果你手上有一批数据,你可能应用统计学、挖掘算...

3828
来自专栏机器人网

这款无人机可以在湖面迫降,还能在水上充电

固定翼无人机的续航能力强,适合用于长途飞行,不过缺点就是需要跑道辅助起飞降落,所以固定翼无人机对地形的要求也很苛刻。根据国外媒体消息,加拿大舍布鲁克大学的研究团...

2504
来自专栏AI科技大本营的专栏

葵花宝典之机器学习:全网最重要的AI资源都在这里了(大牛,研究机构,视频,博客,书籍,Quora......)

翻译 | AI科技大本营(rgznai100) 参与 | Joe,焦燕 2000年早期,Robbie Allen在写一本关于网络和编程的书的时候,深有感触。他发...

3734

扫描关注云+社区