本周AI热点回顾：AI技术重现的老北京原声影像又火了

01

剃头挑子、京韵大鼓、摆地摊，AI技术重现的老北京原声影像又火了

剃头挑子、街边地摊、京韵大鼓，多数人可能只在电影、电视剧中看过老北京的这些景象。但早在 90 年前，就有人将这些场景都拍了下来，而且完好地保存在美国南卡罗莱纳大学影像库。影片中还收录了时代原声，原汁原味地记录了当时老北京的平民生活。

90 年后，有人将这些影片翻了出来，还用 AI 进行了修复，包括上色、提高分辨率等操作。

从这段影片中，我们能看到很多非常生活化的场景，比如小学生在学校外边买饭：

小伙子找个剃头摊剃头：

剃完之后，小伙子还不忘给个好评，一边拍着脑瓜一边说：「剃挺好！」 那时候的人大概没有预料到，在 90 年后的今天，现代人都忙着生发、植发、戴假发……

看到这里，你或许已经猜到了这段视频的修复者，他就是前段时间很火的 B 站 up 主 「大谷」。就在不久前，大谷在他的 B 站账号「大谷的游戏创作小屋」 上发布了第一个老北京修复影片 。截止目前，该视频的累计播放量已经达到 200 多万，还得到了央视等权威媒体的报道。

这次的修复影像由「大谷的游戏创作小屋」和央视新闻联合发布。原视频出处为南卡罗莱纳大学影像库馆藏胶片，音效也不是后期配音，全部为时代原声。

信息来源：机器之心

02

GitHub超3万星：Transformer 3发布，BERT被一分为二

来了来了，它来了！它带着全新的tokenizer API、TensorFlow改进以及增强的文档和教程来了！

G站上最受欢迎的NLP项目，AI界无人不知的最先进NLP模型Transformer刚刚推出了第三代。

这次更新力度可谓诚意满满，不仅带来了2代的升级，同时还增加了一些新的功能和特性。

首先我们来看看和Transformer v2相比，v3做出了哪些比较令人瞩目的更新。

BERT被一分为二

BERT被分割为BertForMaskedLM和BertLMHeadModel，因此，以后就不能再拿BertForMaskedLM做因果语言建模，也不能接受lm_labels参数。

Trainer从类转为方法

v3还对Trainer数据整理器做了一个改动，将其从一个类改成了一个方法。

直接设置tokenizer的特殊标记属性

在v3中，你可以直接设置tokenizer的特殊标记属性，例如tokenizer.mask_token = '<mask>'。目前v2中，只是将标记关联到tokenizer的属性，但如果该标记不在词汇表中，则不会将其添加到词汇表中，必须使用 tokenizer.add_special_tokens() 和 tokenizer.add_tokens() 方法才能添加标记。

prepare_for_model被移除

作为新的 tokenizer API 的一部分，prepare_for_model 方法被移除。

信息来源：机器之心

03

Teacher模型线上授课，蒸馏训练速度提升2.3倍

在深度学习领域，模型训练也是可以采用网课形式，不用那么震惊，这个真的有！这就是今天要讲的LF AI基金会的EDL项目基于飞桨深度学习平台推出的服务型蒸馏训练方案！

来看看我们这个服务型蒸馏训练到底是个什么东东！

服务型蒸馏训练是基于EDL（Elastic Deep Learning，弹性深度学习框架）提出的一种训练方案。EDL是Linux基金会（LF）旗下负责人工智能和大数据深度学习领域的基金会LF AI正在孵化的重要项目之一。如今在云计算资源蓬勃发展的条件下，利用弹性资源进行深度学习模型训练和推理将成为一种普遍现象，因此EDL项目应运而生。EDL项目可以使云上深度学习模型的训练和推理变得更容易和更有效。而服务型蒸馏训练方案就是EDL项目结合百度飞桨开源深度学习平台而推出了一种新的训练方案，可谓出身名门！

与常规蒸馏训练相比，服务型蒸馏训练将Teacher模型和Student模型解耦，Teacher模型被部署为线上推理服务，Student模型则以客户端的身份通过互联网实时发送样本到Teacher模型获取推理结果进行训练，这就如同让模型上网课。那么让模型上网课可以给用户带来什么收益呢？咱们往下看！

服务蒸馏训练

相比于常规的蒸馏训练模式相比，服务型蒸馏训练可以给用户带来如下收益：

1. 节约显存资源。由于Student模型和Teacher模型的解耦，所以服务型蒸馏训练可以使用异构的资源，也就是把Student模型和Teacher模型的部署到不同的设备上。原先受限于显存大小而难以部署到单个GPU卡上的蒸馏网络可以通过该方式部署到不同卡上。
2. 提升训练速度。由于节约了显存资源，这样就可以使Student模型能够训练更大的batch size；同时由于Student模型和Teacher模型是异构流水线，Student模型不用等Teacher模型推理结束后再训练，综合上述两个原因，可以大大提高训练速度。
3. 提高训练资源利用率。在实际应用中，我们可以将Teacher模型部署到线上的弹性预估卡集群，利用线上预估卡闲时的算力资源提升蒸馏任务中Teacher模型侧的吞吐量。同时由于Teacher模型可以弹性调度，不用担心高峰时线上实例被抢占造成的任务失败。相当于把teacher对训练卡的资源需求转移到了在线GPU卡上，在v100等离线训练资源受限的情况下，使用在线卡对训练进行加速，以节约宝贵的训练资源。 此外，在离线集群上，结合调度策略，还可以将Teacher模型部署到集群碎片资源，或者如k40等使用率较低的资源上，充分利用集群的空闲、碎片资源。
4. 提升训练效率。用户可以根据Teacher和Student的吞吐性能灵活设置Teacher和Student的比例，也就是说多个老师可以教多个学生，而不是只能保持1比1的家教模式，最大限度地提高训练的产出。

信息来源：飞桨PaddlePaddle

04

前端工程师的福利！百度轻量级Paddle.js让网页“智能”更简单

随着百度AI战略的逐步深入，百度AI能力正在积极地布局和渗透在更多的应用领域，作为国内首个以JavaScript实现的Web端开源推理引擎，Paddle.js用于帮助前端工程师更加简单地将智能化因素引入网页中，让Web前端可以实现更多的能力。Paddle.js进一步补齐飞桨推理部署产品矩阵，有力提升飞桨全场景、全平台、最强性能的推理部署产品实力。

Web前端作为互联网中离用户最近的一环，也希望借助 AI 的能力，给用户创建更好的体验。随着硬件设备的快速更新换代，直接在网页中实现的智能化效果逐渐进入人们的视线，相比云端智能，端智能具有低延时、保护数据隐私、节省云端计算资源等优势，端智能的实时性优势更加凸显。

首先，用户Web端计算不仅可以节省服务端的计算压力，而且可以提供非常快速的响应，比如这个我们在网页中实现的基于人脸跟踪和表情识别的应用效果就非常适合这个场景，打开手机百度APP搜索“自拍测人设”就会发现这个应用，在这个网页应用中要求必须在能够实时捕捉屏幕内容进行框选，需要极其快速的计算能力来识别和追踪人脸。面向全网用户使用，那么浏览器内实现无疑是最佳方案，保证分享出去后其他用户也能够无差别的直接使用，而不需要安装指定的应用。

其次， AI能力能够实现一系列复杂的交互，打造“神奇”的网页，可以说有了Web AI新技术，可以创造全新的交互方式。这方面的例子有很多，比如这个肢体交互能够切换背景的场景就非常具有惊喜感，通过Web AI实现在网页上人像分割的例子，能够将人像从复杂的场景中分离出来，结合肢体识别能力实现了非传统的网页交互效果。

不同于将用户信息上传到服务端做处理，Web AI能够很好的保护用户的隐私性，它可以在每个用户数据不离开手机的情况下对数据进行推理预测计算，也能够有效的对用户浏览的数据做出智能化的“控制”。例如，对于黄反图片的在线判定和过滤也可以在用户端实现。

总的来说，在用户Web端处理具有信息更好的隐私性，省去网络交互的更快实时性计算，以及硬件飞速发展的更强计算能力是Web AI独特的优势。

目前在网页上实现AI的推理引擎不多。性能方面，百度Paddle.js借助于GPU Backend能够在浏览器中使用硬件加速快速运行，而且还充分参与了 Web NN标准化，在手机百度app提供的特殊加速支持获得更快的执行速度；代码体积方面，Paddle.js的静态代码体积非常的小，仅有201KB；易用性方面，paddlejs是一个开箱即用的前端在线推理引擎，它提供了丰富的能力封装，无需其他依赖即可完成目标效果。

信息来源：飞桨PaddlePaddle

05

重磅！百度多模态模型ERNIE-ViL刷新5项任务记录，登顶权威榜单VCR

多模态语义理解是人工智能领域重要研究方向之一，如何让机器像人类一样具备理解和思考的能力，需要融合语言、语音、视觉等多模态的信息。

近年来，视觉、语言、语音等单模态语义理解技术取得了重大进展。但更多的人工智能真实场景实质上同时涉及到多个模态的信息。例如，理想的人工智能助手需要根据语言、语音、动作等多模态的信息与人类进行交流，这就要求机器具备多模态语义理解能力。

近日，百度在该领域取得突破，提出业界首个融合场景图知识的多模态预训练模型 ERNIE-ViL。百度研究者将场景图知识融入到视觉-语言模型的预训练过程，学习场景语义的联合表示，显著增强了跨模态的语义理解能力。ERNIE-ViL 还在包括视觉常识推理、视觉问答、引用表达式理解、跨模态图像检索、跨模态文本检索等 5 项典型多模态任务中刷新了世界最好效果。并在多模态领域权威榜单视觉常识推理任务（VCR）上登顶榜首。

上小学的时候，“看图说话”在语文试卷中常年占据着一席之地。比如给出下面这张图，让我们描述图里的人物在干什么、想什么、有着怎样的心情。同样，在人工智能领域，机器也需要具备“看图说话” 的能力。

VCR（Visual Commonsense Reasoning，视觉常识推理）就是由十几万这样的图片和问题组成的数据集。该数据集由华盛顿大学和艾伦人工智能研究所的研究者联合创建，考查的是模型的多模态语义理解与推理能力。微软、谷歌、Facebook 等科技公司及 UCLA、佐治亚理工学院等顶尖高校都对该任务发起了挑战。

6 月 24 号，该榜单被再次刷新，来自百度 ERNIE 团队的 ERNIE-ViL 在单模型效果和多模型效果上都取得了第一的成绩，并在联合任务上以准确率领先榜单第二名 3.7 个百分点的成绩登顶，超越了微软、谷歌、Facebook 等机构。

听懂、看懂、理解环境是人工智能的重要目标之一，实现该目标的首要任务是让机器具备多模态语义理解能力。此次百度提出的知识增强多模态模型 ERNIE-ViL，首次将场景图知识融入多模态模型的预训练过程，在视觉问答、视觉常识推理等 5 个任务上刷新纪录，为多模态语义理解领域研究提供了新的思路。除了上述公开数据集效果突破外，ERNIE-ViL 技术也逐步在真实工业应用场景中落地。未来百度将在该领域进行更深入的研究和应用，使其发挥更大的商业和社会价值。

• 论文链接： https://arxiv.org/abs/2006.16934
• ERNIE 开源地址： https://github.com/PaddlePaddle/ERNIE

信息来源：百度NLP

06

本周论文推荐

【ACL 2020 | 百度】：新任务：融合多个对话类型的对话式推荐

Towards Conversational Recommendation over Multi-Type Dialogs

论文介绍：

人机对话是人工智能的一项基本挑战，涉及语言理解、对话控制和语言生成等关键技术，受到了学术界和工业界的广泛关注。随着智能音箱的普及，对话式推荐变得越来越重要。对话式推荐指通过基于对话的人机交互形式实现高质量的自动推荐。前人工作大致可以分为两大类：

• 基于任务类对话的建模方式；
• 基于更自由的开放域对话的建模方式。

研究人员要求两人进行对话，其中一人扮演recommendation seeker（用户），另一个人扮演recommender（bot），要求recommender主动引导对话，然后基于用户profile推荐，而不是用户引导对话或寻求推荐。例如在用户关于『生死劫』的问答后，机器根据其长期偏好和知识图谱信息，规划对话目标序列（关于『周迅』的闲聊>>推荐电影『风声』），并自然地引导对话，当用户转移话题（更喜欢『刘若英』的电影），机器根据其profile，精准推荐『南京1937』，最终完成所有对话目标。对话结束后，用户profile会根据其反馈而更新，以便于提高后续对话的用户体验。

基线模型采用开放域对话广泛采用的Seq2Seq模型【论文录用后，研究人员尝试HRED（Li et al.，2018）和KBRD（Chen et al.，2019），发现效果还不如Seq2Seq】，语料中的对话历史、知识信息和对话目标等拼接成一个字符串作为模型的输入。

自动评估结果。+(-)gl. 表示使用(没使用)对话目标。+(-)kg. 表示使用（没使用）外部知识。

结论：

1) 从表中还可以看到检索模型和生成模型要优于Seq2Seq模型，验证了论文中模型的有效性。

2) 为了观察对话目标的作用，每个模型都做了引入目标和不引入目标的对比，从实验结果中可以看出引入对话目标能有效提升系统的效果，尤其是生成模型。

3) 为了观察知识的作用，每个模型都做了引入知识和不引入知识的对比，从实验结果中可以看出引入知识能有效提升系统的效果，尤其是生成模型。

4) 通过自动评估指标很难判断检索模型和生成模型的优劣，检索模型在检索指标优于生成模型，而生成模型在生成指标优于检索模型，推测这和两种模型各自的优化指标有关。

5) 知识使用上，生成模型优于检索模型，说明后验信息能有效指导模型进行知识选择。

END