机器学习人工学weekly-12/3/2017

第一次发内容,就从Hinton老人家的capsules开始吧。注意下面很多链接需要翻墙。 1. Hinton老人家早就看convolution network不爽,之前在很多场合都说CNN有问题(比如在Toronto, MIT和Stanford的讲座),capsules也是研究了很久。基本上CNN只能认出某个物体在图片里面移动了位置(invariance),如果有了转动或者缩放之类就不行了,无法实现equivariance,这个对computer vision是个大问题,比如把图片上下翻转就认不出来了,所以Hinton提出了capsules输出多维pose vector作为下一层的输入,同时使用routing by agreement算法来解决这个问题 Hinton在Toronto的讲座:

https://www.youtube.com/watch?v=Jv1VDdI4vy4

Hinton等人的两篇论文: Dynamic Routing Between Capsules: https://arxiv.org/pdf/1710.09829.pdf Matrix Capsules WITH EM routing: https://openreview.net/pdf?id=HJWLfGWRb Medium上比较好的解读文章: https://towardsdatascience.com/demystifying-matrix-capsules-with-em-routing-part-1-overview-2126133a8457 https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b YouTube视频讲解: https://www.youtube.com/watch?v=pPN8d0E3900&t=1185s https://www.youtube.com/watch?v=2Kawrd5szHE (TF实现capsules network) Github实现: TF: https://github.com/naturomics/CapsNet-Tensorflow PyTorch: https://github.com/gram-ai/capsule-networks

2. 这周终于听完了The Talking Machine podcast。唯一一个听了3遍还想再听的podcast,采访的除了3大,吴恩达,还有 David Blei(topic models大牛,Michael Jordan的学生,LDA的主要发明人) Zoubin Ghahramani(也是Jordan的学生,贝叶斯学习大牛) Jeff Dean(Google工程之神), Kevin Murphy(Machine Learning: A Probabilistic Perspective作者,Google大牛,写的书被广泛当作机器学习教材) Ilya Sutskever(OpenAI director,Hinton学生,AlexNet合作者之一,在Google的时候发明了seq2seq,机器翻译现在基本都是用这个模型加上少许改进,比如attention) Hugo Larochelle(Toronto一派,之前跟Ryan Adams等创办whetlab卖给了Twitter,现在lead Google Brain Montreal) Nando de Freitas(牛津教授,现在在DeepMind做增强学习) 除了Ryan Adams(哈佛教授,现在在Google主攻Bayesian non-parametric)这种横跨MIT/Harvard/Cambridge/CMU/Toronto/Twitter/Google的神人,估计很难请的动这些人。希望Neil Lawrence能延续辉煌。这个podcast最大的好处就是他谈论机器学习的广度,不止局限于deep learning,各种经典的方法Gaussain Process, SVP, kernel methods, Bayesian,evoluationary algorithm都有,强烈推荐

podcast链接:

http://thetalkingmachines.com/

3. 陆奇(百度COO)在YCombinator峰会上的一个访谈,我觉得讲的非常好。比如他说AI在中国的应用前景和数据收集要比在美国好的多,政府也非常重视,但是目前最顶尖的研究机构比如DeepMind和OpenAI,短期之内还不太会出现在中国。另外他讲到做engineering大老板的时候怎么不被下面的人BS,他说be able to do the jobs 2 levels down,我觉得这个说的非常好;他还谈到了engineering culture等等。这个视频完全颠覆了我对陆奇的看法,我现在觉得他是个很强的leader,百度只要其他部门不搞事(比如销售),还是有望上升的 采访视频:

https://www.youtube.com/watch?v=WSydk0XzxEE)

4. Rich Sutton(增强学习鼻祖)的书《增强学习》第二版终于快写完了 ,这书是搞增强学习必看,如果你不是只简单调用一下DQN或者policy gradient

电子书链接:

http://incompleteideas.net/sutton/book/bookdraft2017nov5.pdf

另外暑假的时候在Berkeley有一个增强学习的bootcamp,请的也都是一些RL领域大牛,比如Pieter Abbeel(Berkeley,最近刚离开OpenAI和两个中国学生Rocky Duan/Peter Chen创办Embodied Intelligence),Sergey Levine(Berkeley+Google,最早把RL应用到robotics上较为成功的人,发明了guided policy search), Vlad Mnih(DeepMind, DQN和A3C发明人), Chelsea Finn(Berkeley,绝对的RL女神), John Schulman(OpenAI, TRPO/PPO发明人)等等

视频链接:

https://sites.google.com/view/deep-rl-bootcamp/lectures

5. 机器人学习大会CoRL的视频出来了,集合了很多机器人领域的大牛,值得一看

视频链接:

http://www.robot-learning.org/

原文发布于微信公众号 - 机器学习人工学weekly(MLandHuman)

原文发表时间:2017-12-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

学界 | 用充满爱与和平的GUNs挑战GANs?我可能看了篇假论文

上个世界七八十年代,邓小平爷爷曾郑重其事地提出:和平与发展是当代世界的两大主题。如今,这一伟大宏愿实现的如何? 据联合国今年1月份发布的公报显示:去年一年仅在伊...

36210
来自专栏大数据文摘

重振人工智能雄心壮志的时刻已经到了

2058
来自专栏新智元

自然语言处理顶会EMNLP最佳论文3项出炉:Facebook智能体创造“语言”获奖

【新智元导读】 EMNLP刚刚公布了本年度的最佳论文归属,其中被评为最佳长论文之一的《男人也爱购物:用语料库级别约束减少性别偏见的扩大》探讨对数据库的控制可以如...

3215
来自专栏量子位

马上开始的机器学习顶会ICML该关注什么?论文集、精彩Workshop都在这里

1193
来自专栏大数据文摘

智能房屋+大数据,将改变房地产经济学

1987
来自专栏AI科技大本营的专栏

洪小文:以科学的方式赤裸裸地剖析AI(二)|从寒冬到复兴

近两年来,人工智能掀起的全民热潮可谓前所未有,几乎每行每业都在积极向机器学习、大数据、深度神经网络等这些“网红”技术靠拢。然而,在人工智能遍地生花的今天,更加令...

3526
来自专栏AI科技评论

大会 | CVPR VUHCS Workshop征稿啦,附带5项极具吸引力的比赛

AI 科技评论按:CVPR 2018 将于 2018 年 06 月 18-22 日在美国盐湖城举办,除了主会议程,各式各样的 Workshop 也值得大家一探究...

2604
来自专栏吉浦迅科技

深度学习协助机器人学习人类的行走方式

机器人 Darwin 行走时身体仍会摇摇晃晃,有时候还会跌倒,但它跟大多数机器人不一样,它会从错误中学习(这点跟人类很像),飞快地调整技术。 它的踉跄学步导致新...

4188
来自专栏新智元

Science:给人工智能一个“鼻子”

【新智元导读】科学家给人工智能视觉、听觉,现在他们赋予人工智能嗅觉。22个计算机科学家团队的最新研究提出了一套能够根据不同分子的化学结构预测它们的气味的算法。 ...

32812
来自专栏机器之心

专栏 | 上海纽约大学张峥教授:2017年影响力论文推荐

这篇文章特意选择在 NIPS2017 会议期间发表,但与会者并没有特别大的反应。相反,在研讨会上这篇文章引起了关于通用智能的一场针锋相对的讨论。

852

扫码关注云+社区