顶级AI会议NIPS压轴2017
NIPS，全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。在中国计算机学会的国际学术会议排名中，NIPS为人工智能领域的A类会议。
今年的NIPS是一场盛大的、极富教育意义和探索精神的、魅力十足且人数众多的会议。
Tutorials
深度学习：实践与趋势
我参加了“趋势”部分，我所看到的让我感到好笑，首先，我认为这个tutorial不适用于初学者（这是一种抽象说法）。可以说，它是一个结构良好，更加适用于深度学习从业者的产品导向材料。主要趋势是：域调整/适应；基于图形的神经网络、程序归纳等。从I/O、模型架构和损失的角度分析了每种趋势。Orilo Vinyals还介绍了主要的Mete方法：
视频： https://www.youtube.com/watch?v=YJnddoa8sHk
使用概率程序、程序归纳和深度学习的工程与可逆工程智能
概率编程是非常出色的，但或许出于其复杂性的原因，它的应用并不广泛。它为你提供了一种以概率方式描述问题的途径，这是现实世界的自然表现。你可以在参数、模型输入和输出中编码不确定性，并获得一组程序执行的预估痕迹。
这个领域正在快速发展，并且可为你提供大量工具。我认为使用概率编程领域的想法可以帮助解决在追踪对抗样本方面的问题。
未来的研究方向包括：
- 与深度学习的融合
- 为蒙特卡洛推理建立快速的运行时间(“BLAS”for Monte Carlo)
助力未来100年——受邀嘉宾John Platt所带来的的演讲。
鼓舞人心的想法和分析——关于将聚变作为能源来源的重要性。此外，作者还提供了一个交互式工具的链接，你可以在其中使用不同比例的能源及其组合来满足约束条件。https://google.github.io/energystrategies
为了使聚变能够成功，有许多事情要做。首先它应该消耗更多的能量，这个过程应该是可扩展的，对于最终用户来说它是最重要的因素。据估计，到2020年，这些先决条件中的一部分应该会是非常充分的。
研讨会
音频信号处理的机器学习（ML4Audio）
http://media.aau.dk/smc/ml4audio/
杰出的音频研究员研讨会
声学词嵌入。目标——在一些高纬度的空间中建立一种表示，其中，相似的口语词彼此之间的距离较小。这个问题比文本域要复杂得多。因为人们说一个单词的方式是多种多样的。相应的波形因扬声器而异，也取决于韵律和材质。长短期记忆网络（LSTM）可用于生成一个口语词的固定长度向量表示，还可以用于模拟嵌入空间的对比损失技术。这种方法也是多视角的，这意味着字符和声音的表现是共模的。
论文：https://arxiv.org/abs/1611.04496
代码： https://github.com/opheadacheh/Multi-view-neural-acoustic-words-embeddings
谷歌的玩家在Tacotorn TTS模型上展示了一些改进，这些模型可以捕捉说话者的风格。其主要思想是学习一个“风格原子词汇”（style atomic vocabulary），并使用“风格原子”的线性组合形成一个风格向量，作为生成下一个波形时间步长的条件。调节是通过注意机制来实现的。通过简单预测风格向量的标量权重，完全连接层被用来决定应该将在哪种类型的文本注意（textattention）和风格注意（style attention）进行混合。
可用样品：https://google.github.io/tacotron/publications/uncovering_latent_style_factors_for_expressive_speech_synthesis/index.html
机器学习的创意和设计
学习解构特征：从感知到控制
这个研讨会探讨的主要话题是关于可控生成模型，1年前只有InfoGAN被提出（据我所知），现在有更多的想法被提出来。其中之一是?-VAE，当KL损失项被加权时，其只传递使编码数据发生变化的信息，以便约束信息瓶颈（informationbottleneck）被分离。
这个领域是尚没有人的经验可以借鉴，因此没有常见的方式来衡量分离程度，DeepMind提出了改进?-VAE和新分离程度的度量方法。
今年在加州长滩会议中心举行的2017年神经信息处理系统（NIPS）会议可谓是有史以来最大的一次会议！以下是所有受邀嘉宾的演讲、教程和研讨会的资源及幻灯片清单。
内容包括以下几个方面：
1.受邀嘉宾演讲
2.教程
3.研讨会
4.WiML
受邀嘉宾演讲
- 助力未来100年——John Platt
- 为什么人工智能够使人类基因组重编程成为可能——Brendan J Frey
视频链接：https://www.youtube.com/watch?v=QJLQBSQJEus
- 偏差所带来的问题——Kate Crawford
视频链接：https://www.youtube.com/watch?v=fMym_BKWQzk
- 结构的不合理有效性——Lise Getoor
视频链接：https://www.youtube.com/watch?v=t4k5LKCpboc
- 机器人深度学习——Pieter Abbeel
幻灯片链接：https://www.dropbox.com/s/fdw7q8mx3x4wr0c/2017_12_xx_NIPS-keynote-final.pdf
视频链接：https://www.youtube.com/watch?v=po9z_tMuEwE
- 学习状态表征——Yael Niv
- 贝叶斯深度学习与深度贝叶斯学习——Yee Whye Teh
视频链接：https://www.youtube.com/watch?v=9saauSBgmcQ
- AlphaZero—掌握没有人类知识的游戏?——DavidSilver
视频链接：https://www.youtube.com/watch?v=A3ekFcZ3KNw
Tutorial
- 深度学习：实践与趋势——Nando de Freitas、Scott Reed、Oriol Vinyals
幻灯片链接：https://docs.google.com/presentation/d/e/2PACX-1vQMZsWfjjLLz_wi8iaMxHKawuTkdqeA3Gw00wy5dBHLhAkuLEvhB7k-4LcO5RQEVFzZXfS6ByABaRr4/pub?slide=id.p
视频链接：https://www.youtube.com/watch?v=YJnddoa8sHk
- Reinforcement Learningwith People——Emma Brunskill
视频链接：https://www.youtube.com/watch?v=TqT9nIx27Eg
- 优化运输的初级入门——Marco Cuturi、Justin M Solomon
幻灯片链接：https://www.dropbox.com/s/55tb2cf3zipl6xu/aprimeronOT.pdf
- 用高斯过程进行深度概率建模——Neil D Lawrence
幻灯片链接：http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html
- 机器学习的公平性——Solon Barocas、Moritz Hardt
幻灯片链接：http://mrtz.org/nips17/#/
- 统计关系人工智能：逻辑，概率和计算——Luc De Raedt、David Poole、Kristian Kersting、Sriraam Natarajan
- 使用概率程序、程序归纳和深度学习进行的工程和可逆工程智能——Josh Tenenbaum、Vikash K Mansinghka
- 可微私有机器学习：理论、算法和应用——Kamalika Chaudhuri、Anand D Sarwate
幻灯片：http://www.ece.rutgers.edu/~asarwate/nips2017/NIPS17_DPML_Tutorial.pdf
- 关于图和流形的几何深度学习——Michael Bronstein、Joan Bruna、arthur szlam、Xavier Bresson、Yann LeCun
研讨会
1. 2017机器学习系统研讨会（http://learningsys.org/nips17/index.html）
与会嘉宾：Aparna Lakshmiratan、Sarah Bird、Siddhartha Sen、Christopher Ré、Li Erran Li、Joseph Gonzalez、Daniel Crankshaw
用于新兴AI应用程序的分布式执行引擎——Ion Stoica
学习数据库索引的案例
联合多任务学习——Virginia Smith
链接：http://learningsys.org/nips17/assets/slides/mocha-NIPS.pdf
在数据中心规模上加速持久性神经网络——Daniel Lo
链接：http://learningsys.org/nips17/assets/slides/brainwave-nips17.pdf
DLVM：神经网络DSL的现代编译器框架——RichardWei、Lane Schwartz、Vikram Adve
链接：http://learningsys.org/nips17/assets/slides/dlvm-nips17.pdf
系统性机器学习系统和机器学习系统——Jeff Dean
链接：http://learningsys.org/nips17/assets/slides/dean-nips17.pdf
使用ONNX为AI模型创建一个开放灵活的生态系统——Sarah Bird、Dmytro Dzhulgakov
链接：http://learningsys.org/nips17/assets/slides/ONNX-workshop.pdf
NSML：一个能够让你专注于你的模型机器学习平台——Nako Sung
链接：http://learningsys.org/nips17/assets/slides/nsml_slides.pdf
DAWNBench：一个端到端的深度学习基准和竞争机制——Cody Coleman
链接：http://learningsys.org/nips17/assets/slides/dawn-nips17.pptx
2.贝叶斯深度学习（http://bayesiandeeplearning.org/）
与会人员：Yarin Gal、José Miguel Hernández-Lobato、Christos Louizos、Andrew GWilson、Diederik P、(Durk) Kingma、Zoubin Ghahramani、Kevin P Murphy、Max Welling
为什么你不使用概率编程呢？——Dustin Tran
链接：http://dustintran.com/talks/Tran_Probabilistic_Programming.pdf
用马蹄形先验（HorseshoePriors）在BNN中进行自动模型选择——Finale Doshi
用于分布式学习、不确定性量化和压缩的深度贝叶斯——Max Welling
作为近似贝叶斯推理的随机梯度下降——Matt Hoffman
自回归生成模型的新进展——Nal Kalchbrenner
链接：https://drive.google.com/file/d/11CNWY5op_J5PvP02J9g8tciAom-MW9MZ/view
深度内核学习——Russ Salakhutdinov
用反向传播进行的贝叶斯推理——Meire Fortunato
深度学习层如何通过随机梯度下降来收敛到信息瓶颈限制？——Naftali (Tali) Tishby
3.学习有限的标记数据：弱监督和超监督（https://lld-workshop.github.io/）
与会人员：Isabelle Augenstein、Stephen Bach、Eugene Belilovsky、Matthew Blaschko、Christoph Lampert、Edouard Oyallon、Emmanouil Antonios Platanios、Alexander Ratner、ChristopherRé
Welcome Note
链接：https://lld-workshop.github.io/slides/opening.pdf
功能磁共振成像启发：从有限的标记数据中学习——Ga?lVaroquaux
链接：https://lld-workshop.github.io/slides/gael_varoquaux_lld.pdf
从有限的标记数据学习（但存在很多未标记的数据）——Tom Mitchell
链接：https://lld-workshop.github.io/slides/tom_mitchell_lld.pdf
结构化预测能量网络的光监督——Andrew McCallum
链接：https://lld-workshop.github.io/slides/andrew_mccallum_lld.pdf
强制神经连接预测器的按则播放——Sebastian Riedel
链接：https://lld-workshop.github.io/slides/sebastian_riedel_lld.pdf
小组：医学成像中有限的标记数据——Daniel Rubin、Matt Lungren、Ina Fiterau
链接：https://lld-workshop.github.io/slides/radiology_panel_lld.pdf
样本和计算有效的主动学习算法——Nina Balcan
链接：https://lld-workshop.github.io/slides/nina_balcan_lld.pdf
这并不明智！对模型解释进行积极注释的个案研究——Sameer Singh
链接：https://lld-workshop.github.io/slides/sameer_singh_lld.pdf
用生成式对抗网络克服有限的数据——Ian Goodfellow
链接：http://www.iangoodfellow.com/slides/2017-12-09-label.pdf
自然语言理解的难点在哪里？——Alan Ritter
链接：https://lld-workshop.github.io/slides/alan_ritter_lld.pdf
结束语
链接：https://lld-workshop.github.io/slides/closing.pdf
座谈会
1.可解释的机器学习
链接：http://interpretable.ml/
与会人员：Andrew G Wilson、Jason Yosinski、Patrice Simard、Rich Caruana、William Herlands
因果关系在可解释性中所发挥的作用——Bernhard Scholkopf
幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_Bernhard_Schoelkopf.pdf
视频链接：https://www.youtube.com/watch?v=9C3RvDs_hHw
大型图像数据集中的可解释性发现——Kiri Wagstaff
幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_kiri_wagstaff.pdf
视频链接：https://www.youtube.com/watch?v=_K2wVfi_KDM
（隐藏的）校准成本——Bernhard Scholkopf
幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_Kilian_Weinberger.pdf
小组讨论会
链接：https://www.youtube.com/watch?v=kruwzfvKt3w
主持人为Rich Caruana，与会人员：Hanna Wallach、Kiri Wagstaff、Suchi Saria、Bolei Zhou和Zack Lipton。
人工智能安全的可解释性——Victoria Krakovna
幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_victoria_Krakovna.pdf
视频链接：https://www.youtube.com/watch?v=3HzIutdlpho
操作和测量模型的可解释性——Jenn Wortman Vaughan
幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_jenn_wortman_vaughan.pdf
视频链接：https://www.youtube.com/watch?v=8ZoL-cKRf2o
调试机器学习管道——Jerry Zhu
幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_jerry_zhu.pdf
视频链接：https://www.youtube.com/watch?v=XO2281l_JVw
小组辩论和后续讨论
链接：https://www.youtube.com/watch?v=2hW05ZfsUUo
与会人员：Yann LeCun、Kilian Weinberger、Patrice Simard和Rich Caruana。
WiML
贝叶斯机器学习：量化不确定性和规模化上的鲁棒性——Tamara Broderick
用于坚守领域的以通信为中心的多智能体深度强化学习——Aishwarya Unnikrishnan
图卷积网络可以在基因组学的深度学习模型中编码三维基因组体系结构——Peyton Greenside
社会科学机器学习——Hannah Wallach
公平意识建议——Palak Agarwal
具有损坏性奖励信道的强化学习——Victoria Krakivna
改善健康保健：强化学习所面临的挑战和机遇——Joelle Pineau
在深度学习中利用对抗性攻击提高鲁棒性——Zhenyi Tang
时序要求严格的机器学习——Nina Mishra
用于评估重复拍卖中调出机制的通用框架——Hoda Heidari
参与专家：在社会科学中应对应对发散引起先验的狄利克雷过程处理方法（A Dirichlet Process Approach to Divergent Elicited Priors）——SarahBouchat
大型归属图的表征学习——Nesreen K Ahmed
幻灯片链接：https://www.slideshare.net/NesreenAhmed2/representation-learning-in-large-attributed-graphs