机器学习顶会 ICML 2018 斯德哥尔摩开幕，公平性研究戴上光环

AI 科技评论按：经过 7 月 10 日的三个 Tutorial Session 和 Opening Reception 晚宴之后，在瑞典斯德哥尔摩举办的机器学习顶会 ICML 2018 正式进入第一天的正会。

开幕致辞 Opening Remarks

当地时间 7 月 11 日早上 8：45，北京时间 7 月 11 日下午 2：45 开始的 Opening Remarks 上先出现了点小意外，会议大厅两块幕布、两台投影仪配置里的靠前的一台坏了，在大会主席 Francis Bach 的演讲途中才亮起来 —— 当然，投影仪好起来的一瞬间，现场响起了热烈的掌声。

主席透露，明年 ICML 计划和 CVPR 一样在美国加州长滩举办，2020 年在奥地利维也纳，2021 年在夏威夷火奴鲁鲁。

由于参会者众多，加粗提醒 Do not enter a room when full

今年 ICML 的四个邀请演讲分别为：来自 UC 伯克利大学电子工程与计算机系 Dawn Song 教授的《AI and Security: Lessons, Challenges and Future Directions》（AI 与安全：教训、挑战以及未来的方向），来自阿姆斯特丹大学机器学习学院研究主席、高通副总裁 Max Welling 教授的《Intelligence per Kilowatthour》（用千瓦时衡量的智慧），来自密歇根州立计算机科学与工程学院 Joyce Chai 教授的《Language to Action: towards Interactive Task Learning with Physical Agents》（从语言到行动：向着与真实机器人的交互式任务学习），以及来自 MIT 认知科学与计算学院 Joshua Brett Tenenbaum 教授的《Building Machines that Learn and Think Like People》（构建像人类一样学习和思考的机器）。

今年的 ICML （机器学习国际会议）是与自主智能体与多智能体系统国际会议（AAMAS）以及人工智能国际联合大会（IJCAI）在同一地点举办的，在议程安排上有联合的大会报告 session 和联合的 workshop。后两个邀请演讲就是在联合的大会报告 session 中的。

与其他机器学习会议一样，今年 ICML 的投稿数量也是继续暴涨。ICML 2017 的数字是 1676 篇投稿、434 篇接受论文，今年则是 2473 / 621，投稿数增加了 45%。对所有论文统计关键词做成词云，毫不意外地看到 learning、Deep、Network、Model、reinforcement learning、optimization 等词汇。

最热门的投稿领域是神经网络架构，有超过 200 篇投稿。其后的大类依次是强化学习、深度学习理论研究、对抗性深度学习、凸优化、非凸优化、监督学习、在线学习、生成式模型、统计学习理论、无监督学习、迁移与多任务学习等。

之前 NIPS 由于投稿数量多、审稿人水平参差不齐，论文初审和 AC 审经常大相径庭而引发讨论，ICML 组委会此次也统计了 Rebuttal 前后的分数差异，给大家提供一个讨论评审过程公平性的参考依据。经过 Rebuttal 后，审稿意见更新的比例有 45.7%，分数得到更新的论文有 9.2%。而在接收分数边界线附近的论文有 16%。

最佳论文奖、最佳论文提名奖、时间检验将获奖论文名单也在现场再次公布。值得一提的是，一共 5 篇最佳论文及最佳论文提名中，就有 2 篇是与公平性有关。

最佳论文奖（Best Paper Awards）获奖论文两篇

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

• 模糊梯度防御带来的只是安全的假象：绕过对抗性样本的防御
• 论文摘要：作者们提出，模糊梯度（obfuscated gradients）这种梯度遮蔽方法，对于对抗性样本的防御并不是真正的安全。虽然引发模糊梯度的防御方法似乎能够抵御基于迭代优化方法的攻击，但是作者们发现依赖这种模糊梯度效果的防御方法其实可以被绕过。作者们描述了造成模糊梯度效果的防御方法的特点，把它们分为了三类，然后针对每一类防御方法设计了可以绕过它们的攻击方法。作者们取 ICLR 2018 论文中的白盒防御方法作为案例研究对象，他们发现梯度模糊是一种普遍的做法，那篇论文中研究的 9 种防御方法中有 7 种都依靠的是模糊梯度方法。作者们提出的新的攻击方法发可以完全绕过其中的 6 种方法，部分绕过 1 种。
• 论文地址：https://arxiv.org/abs/1802.00420

Delayed Impact of Fair Machine Learning

• 研究公平的机器学习的延迟影响
• 论文摘要：之前的研究者们主要是在静态分类的场景下进行机器学习中的公平性问题研究，并没有研究这些决定会如何随着时间流逝而影响其中深层的人群分布变化。传统观念一般认为给机器学习模型施加公平性的限制以后能够更好地保护受到不公平待遇的人群的长期利益。 这篇论文中，作者们研究了静态的公平性限制与会随时间变化的利益指标之间的相互作用，这些利益指标包括一系列研究变量的长时间尺度中的上升、停滞或者下降。作者们表明即便只是对于一阶的反馈模型，平常的公平性限制总的来说都并不会提高利益；实际上，当一个完全无限制的目标能够带来正常的结果时，公平性限制施加以后在某些情况下反倒有可能造成伤害。 作者们完全分析了三种标准的公平性限制带来的延迟的影响，三种环境中表现出了可以量化的不同行为。出自之外，作者们还发现了一种自然形式的测量误差，它可以拓展环境，让公平性限制的表现比较符合人意。 作者们的结果显著体现出了公平性限制的评估中测量指标的选择以及基于时间建模的重要性，这同时也揭示了一组新的挑战和新的取舍。
• 论文地址：https://arxiv.org/abs/1803.04383

最佳论文提名奖（Best Paper Runner Up Awards）获奖论文三篇

The Mechanics of n-Player Differentiable Games

• 可微分多玩家博弈的机制研究
• 论文摘要：深度学习最根本的基石是一个对象的梯度下降最终可以保证收敛到某个局部最小值。然而不幸的是，这种保证在某些设定下会失效，比如对抗性生成网络，其中有多个互相影响的损失函数。基于梯度的方法在博弈中的行为并没有得到很好的研究，而随着对抗性以及多目标的模型架构的发展，这方面的研究也越来越重要。在这篇论文中，作者们开发了一种新的方法以便理解与控制一般博弈中的动态表现。其中的关键成果是把二阶动态特性分解为两个项。第一项与可能的博弈有关，它可以根据隐式的函数梯度下降而减小；第二项与哈密顿博弈有关，这是一类新的遵循守恒定律的博弈，和经典机械系统中的守恒定律很类似。这种分解手段也带来了辛梯度调节（Symplectic Gradient Adjustment）算法，这是一种可以在普通博弈中寻找稳定固定点的新算法。基础性的实验表明 SGA 与近期提出的在 GANs 中寻找稳定固定点的算法有同等的表现，同时也可以运用于更多一般的博弈中，而且还有求解的保证。
• 论文地址：https://arxiv.org/abs/1802.05642

Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices

• 用于密集、稀疏矩阵的接近最优的频繁方向算法
• 这篇论文的唯一作者是复旦大学大数据学院副教授黄增峰
• 论文摘要：对于一个大矩阵

，我们考虑计算这个矩阵的梗概矩阵（sketch matrix）

的问题。这个矩阵应当明显更小，但同时也与 A 足够接近。我们考虑最小化如下的协方差误差

我们在流模型中考虑这个问题，在这里算法只有有限的工作空间，而且只能对输入进行一次计算得到结果。流行的频繁方向算法（Frequent Directions）和它的各种变体在空间和误差之间取得了最佳取舍。然而，算法的运行时间是否可以得到改进还是一个尚未研究的问题。 在这篇论文中，我们几乎解决了这个问题的时间复杂性。尤其是，我们提出了新的空间最优的算法，它具有更快的运行时间。并且，我们展现了我们算法的运行时间是接近最优的，除非目前最优的矩阵乘法的运行时间可以得到大幅度的提升。

• 论文地址：http://www.cse.ust.hk/~huangzf/ICML18.pdf

Fairness Without Demographics in Repeated Loss Minimization

• 在反复的损失最小化中，无需人口特征统计实现平等
• 斯坦福大学教授 Percy Liang 是这篇论文的作者之一
• 论文摘要：机器学习模型（比如语音识别模型）在训练时通常都是要让平均损失最小化，这样会带来表征悬殊的问题 —— 少数群体（比如非母语的讲话者）由于对训练目标的贡献较少，这些样本的损失值也就更高。更糟糕的是，随着模型的准确率下降而影响到用户留存的话，使用模型的少数群体会越来越少。在这篇论文中，作者们首先展示了经验风险最小化（ERM）的方法会让表征悬殊的问题变得越来越严重的状况，这甚至会让最初还平等的模型变得不平等。为了减缓这种问题，作者们开发了一种基于分布鲁棒优化（DRO）的新方法，它会把所有数据分布中的最糟糕的情况风险都最小化到接近经验分布。作者们证明了这种方法在每一个时间步中都控制了少数群体的风险，根据罗尔斯的分配正义思想评价的话，同时也能够忽略不同组之间的身份差异。作者们展现了 DRO 能够在 ERM 不能阻止表征悬殊增大的情况下阻止它发生，同时也在真实世界的文本自动完成任务中成功增加了少数群体的用户满意程度。
• 论文地址：https://arxiv.org/abs/1806.08010

时间检验论文奖获奖论文

A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning

• 一个自然语言处理的统一架构：多任务学习深度神经网络
• 这篇论文来自 ICML 2008
• 作者们描述了一种卷积神经网络架构，只靠一个语言模型网络就可以基于给定的句子输出一系列语言处理预测结果，包括语句的一部分的标签、语料段、可命名的实体标签、语义角色、语义类似的词，以及句子有意义的似然值（语法角度以及语义角度）。整个网络是在所有这些任务上以权重共享的方式联合训练的，这样也成为了多任务学习的一个实例。所有任务都使用了标注数据，除了语言模型是从无标注文本学习的，并且它也为这些共享的任务提供了一种新的半监督学习形式。作者们展示了多任务学习和半监督学习都可以增加这些共享的任务的泛化性，最终带来了顶级的表现。
• 资料地址：http://videolectures.net/icml08_collobert_uanl/（带视频和 PPT）

目前 ICML 2018 还在如火如荼地进行中，正会会进行到 7 月 13 日。雷锋网 AI 科技评论会继续发出相关报道，请继续关注。前方照片感谢立伟。

AI 科技评论报道。