机器学习人工学weekly-12/3/2017

第一次发内容,就从Hinton老人家的capsules开始吧。注意下面很多链接需要翻墙。 1. Hinton老人家早就看convolution network不爽,之前在很多场合都说CNN有问题(比如在Toronto, MIT和Stanford的讲座),capsules也是研究了很久。基本上CNN只能认出某个物体在图片里面移动了位置(invariance),如果有了转动或者缩放之类就不行了,无法实现equivariance,这个对computer vision是个大问题,比如把图片上下翻转就认不出来了,所以Hinton提出了capsules输出多维pose vector作为下一层的输入,同时使用routing by agreement算法来解决这个问题 Hinton在Toronto的讲座:

https://www.youtube.com/watch?v=Jv1VDdI4vy4

Hinton等人的两篇论文: Dynamic Routing Between Capsules: https://arxiv.org/pdf/1710.09829.pdf Matrix Capsules WITH EM routing: https://openreview.net/pdf?id=HJWLfGWRb Medium上比较好的解读文章: https://towardsdatascience.com/demystifying-matrix-capsules-with-em-routing-part-1-overview-2126133a8457 https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b YouTube视频讲解: https://www.youtube.com/watch?v=pPN8d0E3900&t=1185s https://www.youtube.com/watch?v=2Kawrd5szHE (TF实现capsules network) Github实现: TF: https://github.com/naturomics/CapsNet-Tensorflow PyTorch: https://github.com/gram-ai/capsule-networks

2. 这周终于听完了The Talking Machine podcast。唯一一个听了3遍还想再听的podcast,采访的除了3大,吴恩达,还有 David Blei(topic models大牛,Michael Jordan的学生,LDA的主要发明人) Zoubin Ghahramani(也是Jordan的学生,贝叶斯学习大牛) Jeff Dean(Google工程之神), Kevin Murphy(Machine Learning: A Probabilistic Perspective作者,Google大牛,写的书被广泛当作机器学习教材) Ilya Sutskever(OpenAI director,Hinton学生,AlexNet合作者之一,在Google的时候发明了seq2seq,机器翻译现在基本都是用这个模型加上少许改进,比如attention) Hugo Larochelle(Toronto一派,之前跟Ryan Adams等创办whetlab卖给了Twitter,现在lead Google Brain Montreal) Nando de Freitas(牛津教授,现在在DeepMind做增强学习) 除了Ryan Adams(哈佛教授,现在在Google主攻Bayesian non-parametric)这种横跨MIT/Harvard/Cambridge/CMU/Toronto/Twitter/Google的神人,估计很难请的动这些人。希望Neil Lawrence能延续辉煌。这个podcast最大的好处就是他谈论机器学习的广度,不止局限于deep learning,各种经典的方法Gaussain Process, SVP, kernel methods, Bayesian,evoluationary algorithm都有,强烈推荐

podcast链接:

http://thetalkingmachines.com/

3. 陆奇(百度COO)在YCombinator峰会上的一个访谈,我觉得讲的非常好。比如他说AI在中国的应用前景和数据收集要比在美国好的多,政府也非常重视,但是目前最顶尖的研究机构比如DeepMind和OpenAI,短期之内还不太会出现在中国。另外他讲到做engineering大老板的时候怎么不被下面的人BS,他说be able to do the jobs 2 levels down,我觉得这个说的非常好;他还谈到了engineering culture等等。这个视频完全颠覆了我对陆奇的看法,我现在觉得他是个很强的leader,百度只要其他部门不搞事(比如销售),还是有望上升的 采访视频:

https://www.youtube.com/watch?v=WSydk0XzxEE)

4. Rich Sutton(增强学习鼻祖)的书《增强学习》第二版终于快写完了 ,这书是搞增强学习必看,如果你不是只简单调用一下DQN或者policy gradient

电子书链接:

http://incompleteideas.net/sutton/book/bookdraft2017nov5.pdf

另外暑假的时候在Berkeley有一个增强学习的bootcamp,请的也都是一些RL领域大牛,比如Pieter Abbeel(Berkeley,最近刚离开OpenAI和两个中国学生Rocky Duan/Peter Chen创办Embodied Intelligence),Sergey Levine(Berkeley+Google,最早把RL应用到robotics上较为成功的人,发明了guided policy search), Vlad Mnih(DeepMind, DQN和A3C发明人), Chelsea Finn(Berkeley,绝对的RL女神), John Schulman(OpenAI, TRPO/PPO发明人)等等

视频链接:

https://sites.google.com/view/deep-rl-bootcamp/lectures

5. 机器人学习大会CoRL的视频出来了,集合了很多机器人领域的大牛,值得一看

视频链接:

http://www.robot-learning.org/

原文发布于微信公众号 - 机器学习人工学weekly(MLandHuman)

原文发表时间:2017-12-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏积累沉淀

Hive2.0.0操作HBase 1.2.1报错解决

首先看错  org.apache.hive.service.cli.HiveSQLException: Failed to open new session: ...

2339
来自专栏菩提树下的杨过

winform中linkLabel的用法(示例)

private void Form1_Load(object sender, EventArgs e)         {             this...

1925
来自专栏谈补锅

记录C#常用的代码片段

using Newtonsoft.Json; using Newtonsoft.Json.Linq;

922
来自专栏码匠的流水账

聊聊spring cloud的AbstractLoadBalancingClient

本文主要研究一下spring cloud的AbstractLoadBalancingClient

842
来自专栏c#开发者

C# : row-clickable GridView and get and set gridview rows using JavaScript

Complete C# code: ---------------- using System; using System.ComponentModel; ...

2996
来自专栏张善友的专栏

Using sqlite with .NET

The other day I found that there is a .NET wrapper for sqlite. sqlite is a very ...

2288
来自专栏码匠的流水账

聊聊EurekaRibbonClientConfiguration

spring-cloud-netflix-eureka-client-2.0.0.RELEASE-sources.jar!/org/springframewor...

1171
来自专栏c#开发者

jquery easyui datagrid mvc server端分页排序筛选的实现

1自定义一个ModelBinder public class filterRule { public string field { g...

4189
来自专栏xingoo, 一个梦想做发明家的程序员

windows程序设计-第四章 system1.c

/*---------------------------------------------------- SYSMETS1.C -- System M...

23710
来自专栏跟着阿笨一起玩NET

去除DataTable中重复字段

               DataTable tbl = new DataTable();                 tbl.Columns.Add(...

741

扫码关注云+社区