顶级AI会议NIPS压轴2017

NIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。在中国计算机学会的国际学术会议排名中,NIPS为人工智能领域的A类会议。

今年的NIPS是一场盛大的、极富教育意义和探索精神的、魅力十足且人数众多的会议。

Tutorials

深度学习:实践与趋势

我参加了“趋势”部分,我所看到的让我感到好笑,首先,我认为这个tutorial不适用于初学者(这是一种抽象说法)。可以说,它是一个结构良好,更加适用于深度学习从业者的产品导向材料。主要趋势是:域调整/适应;基于图形的神经网络、程序归纳等。从I/O、模型架构和损失的角度分析了每种趋势。Orilo Vinyals还介绍了主要的Mete方法:

视频: https://www.youtube.com/watch?v=YJnddoa8sHk

使用概率程序、程序归纳和深度学习的工程与可逆工程智能

概率编程是非常出色的,但或许出于其复杂性的原因,它的应用并不广泛。它为你提供了一种以概率方式描述问题的途径,这是现实世界的自然表现。你可以在参数、模型输入和输出中编码不确定性,并获得一组程序执行的预估痕迹。

这个领域正在快速发展,并且可为你提供大量工具。我认为使用概率编程领域的想法可以帮助解决在追踪对抗样本方面的问题。

未来的研究方向包括:

  • 与深度学习的融合
  • 为蒙特卡洛推理建立快速的运行时间(“BLAS”for Monte Carlo)

助力未来100年——受邀嘉宾John Platt所带来的的演讲。

鼓舞人心的想法和分析——关于将聚变作为能源来源的重要性。此外,作者还提供了一个交互式工具的链接,你可以在其中使用不同比例的能源及其组合来满足约束条件。https://google.github.io/energystrategies

为了使聚变能够成功,有许多事情要做。首先它应该消耗更多的能量,这个过程应该是可扩展的,对于最终用户来说它是最重要的因素。据估计,到2020年,这些先决条件中的一部分应该会是非常充分的。

研讨会

音频信号处理的机器学习(ML4Audio)

http://media.aau.dk/smc/ml4audio/

杰出的音频研究员研讨会

声学词嵌入。目标——在一些高纬度的空间中建立一种表示,其中,相似的口语词彼此之间的距离较小。这个问题比文本域要复杂得多。因为人们说一个单词的方式是多种多样的。相应的波形因扬声器而异,也取决于韵律和材质。长短期记忆网络(LSTM)可用于生成一个口语词的固定长度向量表示,还可以用于模拟嵌入空间的对比损失技术。这种方法也是多视角的,这意味着字符和声音的表现是共模的。

论文:https://arxiv.org/abs/1611.04496

代码: https://github.com/opheadacheh/Multi-view-neural-acoustic-words-embeddings

谷歌的玩家在Tacotorn TTS模型上展示了一些改进,这些模型可以捕捉说话者的风格。其主要思想是学习一个“风格原子词汇”(style atomic vocabulary),并使用“风格原子”的线性组合形成一个风格向量,作为生成下一个波形时间步长的条件。调节是通过注意机制来实现的。通过简单预测风格向量的标量权重,完全连接层被用来决定应该将在哪种类型的文本注意(textattention)和风格注意(style attention)进行混合。

可用样品:https://google.github.io/tacotron/publications/uncovering_latent_style_factors_for_expressive_speech_synthesis/index.html

机器学习的创意和设计

学习解构特征:从感知到控制

这个研讨会探讨的主要话题是关于可控生成模型,1年前只有InfoGAN被提出(据我所知),现在有更多的想法被提出来。其中之一是?-VAE,当KL损失项被加权时,其只传递使编码数据发生变化的信息,以便约束信息瓶颈(informationbottleneck)被分离。

这个领域是尚没有人的经验可以借鉴,因此没有常见的方式来衡量分离程度,DeepMind提出了改进?-VAE和新分离程度的度量方法。

今年在加州长滩会议中心举行的2017年神经信息处理系统(NIPS)会议可谓是有史以来最大的一次会议!以下是所有受邀嘉宾的演讲、教程和研讨会的资源及幻灯片清单。

内容包括以下几个方面:

1.受邀嘉宾演讲

2.教程

3.研讨会

4.WiML

受邀嘉宾演讲

  • 助力未来100年——John Platt
  • 为什么人工智能够使人类基因组重编程成为可能——Brendan J Frey

视频链接:https://www.youtube.com/watch?v=QJLQBSQJEus

  • 偏差所带来的问题——Kate Crawford

视频链接:https://www.youtube.com/watch?v=fMym_BKWQzk

  • 结构的不合理有效性——Lise Getoor

视频链接:https://www.youtube.com/watch?v=t4k5LKCpboc

  • 机器人深度学习——Pieter Abbeel

幻灯片链接:https://www.dropbox.com/s/fdw7q8mx3x4wr0c/2017_12_xx_NIPS-keynote-final.pdf

视频链接:https://www.youtube.com/watch?v=po9z_tMuEwE

  • 学习状态表征——Yael Niv
  • 贝叶斯深度学习与深度贝叶斯学习——Yee Whye Teh

视频链接:https://www.youtube.com/watch?v=9saauSBgmcQ

  • AlphaZero—掌握没有人类知识的游戏?——DavidSilver

视频链接:https://www.youtube.com/watch?v=A3ekFcZ3KNw

Tutorial

  • 深度学习:实践与趋势——Nando de Freitas、Scott Reed、Oriol Vinyals

幻灯片链接:https://docs.google.com/presentation/d/e/2PACX-1vQMZsWfjjLLz_wi8iaMxHKawuTkdqeA3Gw00wy5dBHLhAkuLEvhB7k-4LcO5RQEVFzZXfS6ByABaRr4/pub?slide=id.p

视频链接:https://www.youtube.com/watch?v=YJnddoa8sHk

  • Reinforcement Learningwith People——Emma Brunskill

视频链接:https://www.youtube.com/watch?v=TqT9nIx27Eg

  • 优化运输的初级入门——Marco Cuturi、Justin M Solomon

幻灯片链接:https://www.dropbox.com/s/55tb2cf3zipl6xu/aprimeronOT.pdf

  • 用高斯过程进行深度概率建模——Neil D Lawrence

幻灯片链接:http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html

  • 机器学习的公平性——Solon Barocas、Moritz Hardt

幻灯片链接:http://mrtz.org/nips17/#/

  • 统计关系人工智能:逻辑,概率和计算——Luc De Raedt、David Poole、Kristian Kersting、Sriraam Natarajan
  • 使用概率程序、程序归纳和深度学习进行的工程和可逆工程智能——Josh Tenenbaum、Vikash K Mansinghka
  • 可微私有机器学习:理论、算法和应用——Kamalika Chaudhuri、Anand D Sarwate

幻灯片:http://www.ece.rutgers.edu/~asarwate/nips2017/NIPS17_DPML_Tutorial.pdf

  • 关于图和流形的几何深度学习——Michael Bronstein、Joan Bruna、arthur szlam、Xavier Bresson、Yann LeCun

研讨会

1. 2017机器学习系统研讨会(http://learningsys.org/nips17/index.html)

与会嘉宾:Aparna Lakshmiratan、Sarah Bird、Siddhartha Sen、Christopher Ré、Li Erran Li、Joseph Gonzalez、Daniel Crankshaw

用于新兴AI应用程序的分布式执行引擎——Ion Stoica

学习数据库索引的案例

联合多任务学习——Virginia Smith

链接:http://learningsys.org/nips17/assets/slides/mocha-NIPS.pdf

在数据中心规模上加速持久性神经网络——Daniel Lo

链接:http://learningsys.org/nips17/assets/slides/brainwave-nips17.pdf

DLVM:神经网络DSL的现代编译器框架——RichardWei、Lane Schwartz、Vikram Adve

链接:http://learningsys.org/nips17/assets/slides/dlvm-nips17.pdf

系统性机器学习系统和机器学习系统——Jeff Dean

链接:http://learningsys.org/nips17/assets/slides/dean-nips17.pdf

使用ONNX为AI模型创建一个开放灵活的生态系统——Sarah Bird、Dmytro Dzhulgakov

链接:http://learningsys.org/nips17/assets/slides/ONNX-workshop.pdf

NSML:一个能够让你专注于你的模型机器学习平台——Nako Sung

链接:http://learningsys.org/nips17/assets/slides/nsml_slides.pdf

DAWNBench:一个端到端的深度学习基准和竞争机制——Cody Coleman

链接:http://learningsys.org/nips17/assets/slides/dawn-nips17.pptx

2.贝叶斯深度学习(http://bayesiandeeplearning.org/)

与会人员:Yarin Gal、José Miguel Hernández-Lobato、Christos Louizos、Andrew GWilson、Diederik P、(Durk) Kingma、Zoubin Ghahramani、Kevin P Murphy、Max Welling

为什么你不使用概率编程呢?——Dustin Tran

链接:http://dustintran.com/talks/Tran_Probabilistic_Programming.pdf

用马蹄形先验(HorseshoePriors)在BNN中进行自动模型选择——Finale Doshi

用于分布式学习、不确定性量化和压缩的深度贝叶斯——Max Welling

作为近似贝叶斯推理的随机梯度下降——Matt Hoffman

自回归生成模型的新进展——Nal Kalchbrenner

链接:https://drive.google.com/file/d/11CNWY5op_J5PvP02J9g8tciAom-MW9MZ/view

深度内核学习——Russ Salakhutdinov

用反向传播进行的贝叶斯推理——Meire Fortunato

深度学习层如何通过随机梯度下降来收敛到信息瓶颈限制?——Naftali (Tali) Tishby

3.学习有限的标记数据:弱监督和超监督(https://lld-workshop.github.io/)

与会人员:Isabelle Augenstein、Stephen Bach、Eugene Belilovsky、Matthew Blaschko、Christoph Lampert、Edouard Oyallon、Emmanouil Antonios Platanios、Alexander Ratner、ChristopherRé

Welcome Note

链接:https://lld-workshop.github.io/slides/opening.pdf

功能磁共振成像启发:从有限的标记数据中学习——Ga?lVaroquaux

链接:https://lld-workshop.github.io/slides/gael_varoquaux_lld.pdf

从有限的标记数据学习(但存在很多未标记的数据)——Tom Mitchell

链接:https://lld-workshop.github.io/slides/tom_mitchell_lld.pdf

结构化预测能量网络的光监督——Andrew McCallum

链接:https://lld-workshop.github.io/slides/andrew_mccallum_lld.pdf

强制神经连接预测器的按则播放——Sebastian Riedel

链接:https://lld-workshop.github.io/slides/sebastian_riedel_lld.pdf

小组:医学成像中有限的标记数据——Daniel Rubin、Matt Lungren、Ina Fiterau

链接:https://lld-workshop.github.io/slides/radiology_panel_lld.pdf

样本和计算有效的主动学习算法——Nina Balcan

链接:https://lld-workshop.github.io/slides/nina_balcan_lld.pdf

这并不明智!对模型解释进行积极注释的个案研究——Sameer Singh

链接:https://lld-workshop.github.io/slides/sameer_singh_lld.pdf

用生成式对抗网络克服有限的数据——Ian Goodfellow

链接:http://www.iangoodfellow.com/slides/2017-12-09-label.pdf

自然语言理解的难点在哪里?——Alan Ritter

链接:https://lld-workshop.github.io/slides/alan_ritter_lld.pdf

结束语

链接:https://lld-workshop.github.io/slides/closing.pdf

座谈会

1.可解释的机器学习

链接:http://interpretable.ml/

与会人员:Andrew G Wilson、Jason Yosinski、Patrice Simard、Rich Caruana、William Herlands

因果关系在可解释性中所发挥的作用——Bernhard Scholkopf

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_Bernhard_Schoelkopf.pdf

视频链接:https://www.youtube.com/watch?v=9C3RvDs_hHw

大型图像数据集中的可解释性发现——Kiri Wagstaff

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_kiri_wagstaff.pdf

视频链接:https://www.youtube.com/watch?v=_K2wVfi_KDM

(隐藏的)校准成本——Bernhard Scholkopf

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_Kilian_Weinberger.pdf

小组讨论会

链接:https://www.youtube.com/watch?v=kruwzfvKt3w

主持人为Rich Caruana,与会人员:Hanna Wallach、Kiri Wagstaff、Suchi Saria、Bolei Zhou和Zack Lipton。

人工智能安全的可解释性——Victoria Krakovna

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_victoria_Krakovna.pdf

视频链接:https://www.youtube.com/watch?v=3HzIutdlpho

操作和测量模型的可解释性——Jenn Wortman Vaughan

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_jenn_wortman_vaughan.pdf

视频链接:https://www.youtube.com/watch?v=8ZoL-cKRf2o

调试机器学习管道——Jerry Zhu

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_jerry_zhu.pdf

视频链接:https://www.youtube.com/watch?v=XO2281l_JVw

小组辩论和后续讨论

链接:https://www.youtube.com/watch?v=2hW05ZfsUUo

与会人员:Yann LeCun、Kilian Weinberger、Patrice Simard和Rich Caruana。

WiML

贝叶斯机器学习:量化不确定性和规模化上的鲁棒性——Tamara Broderick

用于坚守领域的以通信为中心的多智能体深度强化学习——Aishwarya Unnikrishnan

图卷积网络可以在基因组学的深度学习模型中编码三维基因组体系结构——Peyton Greenside

社会科学机器学习——Hannah Wallach

公平意识建议——Palak Agarwal

具有损坏性奖励信道的强化学习——Victoria Krakivna

改善健康保健:强化学习所面临的挑战和机遇——Joelle Pineau

在深度学习中利用对抗性攻击提高鲁棒性——Zhenyi Tang

时序要求严格的机器学习——Nina Mishra

用于评估重复拍卖中调出机制的通用框架——Hoda Heidari

参与专家:在社会科学中应对应对发散引起先验的狄利克雷过程处理方法(A Dirichlet Process Approach to Divergent Elicited Priors)——SarahBouchat

大型归属图的表征学习——Nesreen K Ahmed

幻灯片链接:https://www.slideshare.net/NesreenAhmed2/representation-learning-in-large-attributed-graphs

原文发布于微信公众号 - 机器人网(robot_globalsources)

原文发表时间:2017-12-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

500款各领域机器学习数据集,总有一个是你要找的

美国劳工部统计局官方发布数据:http://dataju.cn/Dataju/web/datasetInstanceDetail/139

31710
来自专栏AI2ML人工智能to机器学习

易图秒懂の神经网络潜行-RNN前生

在“易图秒懂の神经网络潜行-CNN前生"里面,简述了CNN的前生Neocognitron横空出世的环境和当时的影响。 这里描述RNN的前生, 叫SRN,简单递归...

9120
来自专栏计算机视觉战队

基于深度模型的人脸对齐和姿态标准化

美好世界 Wonderful world 相隔41天,Edison又回来了,由于自己和团队的事情比较多,没有在我们的“计算机视觉战队”平台花费过多的精力,今天我...

30140
来自专栏机器之心

专访 | 诺基亚首席科学家范力欣:用模糊逻辑实现可解释的深度神经网络

深度学习发展到今天,很大程度上依然是一个「实验主导」的、「先有实验结果再找可能解释」的学科。对实验结果的理论解释,争议不断,而且随着时间的推移,研究者们给出的解...

16020
来自专栏PPV课数据科学社区

500款各领域机器学习数据集,总有一个是你要找的

金融 美国劳工部统计局官方发布数据:http://dataju.cn/Dataju/web/datasetInstanceDetail/139 沪深股票除权除息...

3K110
来自专栏AI科技评论

KDD2016论文亮点解析(一)

导读:KDD2016是首屈一指的跨学科会议,它聚集了数据科学,数据挖掘,知识发现,大规模数据分析和大数据方面的研究人员和从业人员。 论文一题目:稳定流体近似的卷...

34760
来自专栏量子位

杨强教授第四范式内部分享:漫谈《西部世界》、GAN及迁移学习

本文转载自第四范式公众号,量子位已获授权。 「范式大学」由第四范式发起,致力于成为“数据科学家”的黄埔军校,校长为第四范式首席科学家,华人界首个国际人工智能协会...

35950
来自专栏腾讯AI实验室的专栏

腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议

感谢您阅读腾讯AI Lab首篇文章,我们将在文章第一部分介绍即将开幕的CVPR、ACL和ICML等顶级AI学术会议,及它们收录的腾讯AI Lab多篇论文,并选取...

3.6K30
来自专栏数据科学与人工智能

【知识】六种基本图表的特点和适用场合

1 为什么要用数据可视化? 2 如何做数据可视化? "数据可视化"可以帮助用户理解数据,一直是热门方向。 图表是”数据可视化”的常用手段,其中又以基本图表—-...

27080
来自专栏大数据挖掘DT机器学习

机器学习与数据挖掘的学习路线图

CSDN:白马负金羁 说起机器学习和数据挖掘,当然两者并不完全等同。如果想简单的理清二者的关系,不妨这样来理解,机器学习应用在数据分析领域 = 数据挖掘。同理...

31540

扫码关注云+社区

领取腾讯云代金券