AI前线一周新闻盘点：谷歌用“萃取”训练大规模网络；加州大学公布通用规划网络

作者｜Jack Clark

译者｜核子可乐

编辑｜Debra

AI 前线导读：

利用“萃取”训练空前庞大的规模化网络

AI 不是万能的，请认真对待

谷歌为 TensorFLow 添加概率编程工具

利用通用规划网络学习普遍性技能

谷歌发布 AI 工具让人与图书交流

ACM 呼吁研究人员考虑其研究工作中的弊端

OpenAI 发布执行任务的原则章程

更多干货内容请关注微信公众号“AI 前线”，（ID：ai-front）

利用“萃取”训练空前庞大的规模化网络

…新技术的出现使得训练超大规模分布式 AI 系统变得更为轻松，且复杂性亦可得到有效控制…

在 AI 技术应用方面，一般来说规模越大则效果越好——具体包括访问更多数据、提供更多计算资源以及（偶尔）采用更复杂的基础设施，从而确保用户能够以更低成本获得更佳效能。但其中亦存在着一些局限，例如人们往往无法在单一神经网络的训练过程中实现并行计算。为了解决这一难题，来自谷歌等企业的研究人员们推出了一项类似于“共同蒸馏”的技术，其允许用户并行训练多套网络，并借此训练单一“学生”网络，从而确保其继承此前得出的综合性学习成果。尽管这种技术确实具有实效，但研究人员们发现其流程亦非常繁琐，且引入了大量复杂性。谷歌公司的最新研究将“共同蒸馏”进一步转化为“萃取”，从而简化了具体实现过程。

工作原理:“萃取”通过向第 i 个模型的损失函数添加一项的方式为同一套模型训练出 n 套副本，从而匹配与其它模型的平均预测值。这种方法在准确性与训练时间方面优于分布式随机梯度下降，而从可再现性角度来看表现也不算差。

测试:萃取概念是在最近的一项独立研究当中正式提出的。但谷歌显然不满足于这种学术可行性，其希望将这项技术真正进行广泛普及。具体来讲，谷歌方面采用 Common Crawl 的一个子集创建出一套数据集，其中的 20 TB 文本来自 9.15 亿个文档。经过处理之后，其中包含约 6730 亿条不同词语标记。他们写道，“这一规模要远超我们所知的以往任何神经语言建模数据集。”这意味着即使利用“萃取”技术，研究人员仍然无法立足整体语料库进行模型训练。他们还测试了 ImageNet 上的数据集以及“Criteo Display Ad Challenge”数据集，旨在预测广告内容的点击率。

结果:在利用分布式 SGD 进行“Common Crawl”数据集测试时，研究人员们发现他们能够根据任务处理需求随意调整 GPU 数量，并在 128 个 GPU 之后出现收益递减状况，而到 256 个 GPU 时甚至无法达成处理目标。他们发现，使用萃取技术时其效能水平要远高于分布式 SGD 基准，这意味着这种更为繁琐的集成技术确实能够带来收益。研究人员们同时指出，与基准水平相比，萃取技术的 ImageNet 训练速度更快 ; 而在 Criteo 数据集方面，双向萃取则可实现低于整体基准的记录损失。

为何如此重要:随着数据集规模的持续增长，企业需要对其进行全面训练，并希望尽可能加快训练速度。像萃取这样的技术将有效降低这类目标的实现难度。将其与谷歌自身的“一套模型走天下”理念（即认为其能够学习更为实用的抽象表达基础，并利用多样化输入内容训练出一套具备绝对广泛性的模型方案）相结合，相信将有可能真正带来一种更为智能且更加泛用的服务选项。

了解更多: 通过在线萃取进行大规模分布式神经网络训练 (Arxiv，https://arxiv.org/abs/1804.03235)。

AI 不是万能的，请认真对待

…当自动化出现问题——特斯拉版…

需要强调的是，人工智能并不是一种万能的解决方法。其更擅长在规模庞大的工作当中自动执行各项独立任务，而不适合以端到端方式自动执行全部任务。Elon Musk 最近就在特斯拉 Model 3 生产线采取高度自动化设计之后尝到了苦果。这位企业家在一篇推文中写道，“特斯拉采取的过度自动化方案是个错误。这是我的失误，我低估了人类的能力。”

阅读这篇推文（https://twitter.com/elonmusk/status/984882630947753984）。

谷歌为 TensorFLow 添加概率编程工具

…概率组件的加入可能是件好事，当然也只是可能…

谷歌公司为其 TensorFlow 编程框架添加了一组新的概率编程功能。此次免费更新包括一组用于 TF 的统计构建模块，一种名为 Edward2 的新型概率编程语言（基于 Edward，由 Dustin Tran 开发完成）、概率推理算法以及预制模型与推理工具。

了解更多:为 TensorFlow 引入概率 (TensorFlow Medium，https://medium.com/tensorflow/introducing-tensorflow-probability-dca4c304e245)。

获取代码:TensorFlow 概率 (GitHub，https://github.com/tensorflow/probability)。

利用通用规划网络学习普遍性技能

…无监督目标？用不着了！辅助目标？用不着了！可作为目标的可规划表达？就是你！…

加州大学伯克利分校的研究人员们已经发布了关于其通用规划网络（Universal Planning Networks）的详细信息，这是一种尝试训练 AI 系统以达成目标的新方法。其技术核心在于鼓励人工智能系统尝试了解与之相关的周边事物，从而在训练当中学习如何制定计划以解决任务。

该技术的主要组成部分被研究人员们称为“梯度下降规划器”。这是一种可区分模块，利用自动编码器将当前观测数据与目标观测数据编码至系统之内，而后计算出系统可从当前观测值获得的目标预测值。这项研究之所以令人兴奋，是因为研究人员们已经想到了如何以端到端可区分方式对规划结果进行集成，这样用户就能够利用具备实效的输入内容帮助其学习如何有铲规划以解决特定任务——例如模仿学习损失以从人类示范当中学习经验。研究人员们解释称，“通过在策略当中嵌入可区分规划计算，我们的方法将能够对规划器、其底层隐藏编码器以及前向动态表示进行联合训练。”

结果: 研究人员们利用小型力控点机器人与三连杆扭矩控制机器人的模拟任务执行能力进行了评估。通用规划网络（简称 UPN）的表现明显优于“反应性模仿学习”以及“自我回归模仿学习”的基准水平——前者所需示例数量更少，且对比得分更高。

为何如此重要: 如果我们希望人工智能系统能够在现实世界当中采取行动，那么必然需要通过复杂的多阶段任务对其进行训练以建立起执行规划能力。此类研究工作将帮助我们逐步实现这项目标，确保我们能够面向愈发丰富且多样化的环境进行 AI 系统测试。

了解更多: 通用规划网络 (Arxiv，https://arxiv.org/abs/1804.00645)。

想跟图书馆直接交流吗？Books from Google 可能会带来惊喜

…此 AI 项目允许大家以自然语言直接向上万本书籍提出问题…

谷歌公司语义体验小组发布了一款新型 AI 工具，允许人们以简单的英语提问并由人工智能搜索一套包含 10 多万本书籍的语料库，并找出其中最为合理的答案。这不就是谷歌搜索的小型版本吗？绝非如此简单。这是因为该系统希望将问答流程框架化，即类似于人类之间的典型对话方式。这意味着其需要将全部书籍内容转换为对话中的潜在应答方。而且由于语料库中包含不少小说，所以提问者也可以提出更多更为抽象的问题。

结果：这一实验的结果相当出人意料，因为其面对的是没有生命的书籍，并需要在对话中将其内容重新组织为应答方，并回答“昨天晚上我在梦中见到的是谁？”或者“对机器而言，活着是怎么一回事？”等抽象问题。我不太确定这项目背后的实际意义，但我对其后续发展抱有浓厚的好奇心。

了解更多:Talk to Books (谷歌公司语义体验小组，https://research.google.com/semanticexperiences/about.html)

亲身尝试：Talk to Books (谷歌，https://books.google.com/talktobooks/)。

ACM 呼吁研究人员考虑其研究工作中的弊端

…同行评议将成为最后的救世主？…

我们要如何改变人工智能的研究进程？要求授权方及论文作者预估其应用程序或出版物中相关技术方案的弊端，显然是个不错的主意。ACM 的在其《计算学术研究的未来》一文中就提出了这样的思路，希望利用同行评议制度解决当前研究所带来的一些负面影响。

列出负面影响: 文章的主要观点在于，作者应该列举其研究工作可能给人类社会带来的潜在消极及积极影响，并通过尝试解决这些问题更明确地阐述成果价值并表达对负面影响的认知。作者们写道，“举例来说，如何需要利用任务自动化机制处理拨款提案，那么根据我们的建议，审议人员应要求作者提供此项提案树相关工作人员的影响。具体来讲，其需要讨论自动化提案处理对民主话语权 [26、27] 以及隐私权 [28] 的潜在危害。”此外，作者们还建议将这种规范引入同行评议流程当中，以确保论文评议能够帮助作者充分考虑研究成果可能带来的积极或消极影响。

极端危险:对于那些“即使考虑到未来研究及政策，仍无法作出合理积极影响论证”的提案，作者提出了一项极端的解决方案：直接放弃该项研究。作者们认为，“无论 其在思想理论层面多么有趣，计算机研究人员都没有资格利用公共资金探索该想法是否符合公共利益。因此，我们建议评审者对这类重大提案抱否定态度。”但在我看来，这似乎是一种非常危险的思维方式，因为我认为任何一种研究“违禁”制度的出现，都会带来更多麻烦与冲突。

难以确定的情况:作者同时写道，“同样需要注意的是，有时候技术媒体在这一领域的表现要远远领先于计算机研究行业本身。最近的技术报道经常采用我们之前提到的框架。”作为媒体的前任从业者，我在这里要多说一句——媒体在这方面表现良好的部分原因，在于其实际上已经收到了研究人员们的处理意见。虽然后续的处理工作仍然需要投入大量精力，但我认为最终成果仍然主要归功于研究人员的努力。

了解更多:是时候行动起来了：通过改变同行评议流程缓解计算研究的负面影响（ACM 计算学术研究的未来，https://acm-fca.org/2018/03/29/negativeimpacts/）。

OpenAI 点滴

OpenAI 章程:描述利用 OpenAI 执行任务时所应遵循之原则的章程。

了解更多:OpenAI 章程 (OpenAI 博客，https://blog.openai.com/openai-charter/)。

好看的文章千篇一律，有趣的灵魂万里挑一。读者朋友记得给我留言和点赞哦！