一周简报|Facebook开源机器学习翻译项目fairseq ，可翻译6500种语言

腾讯云正式加入CNCF和Linux基金会，推动CNCF和Linux全球发展;科大讯飞战略合作NVIDIA，携手共推智能语音平台;百度即将发布语音声纹识别系统 Deep Speaker。

Facebook开源机器学习翻译项目fairseq ，可翻译6500种语言

Facebook的人工智能研究团队发表了他们的研究成果Fairseq，他们使用了一种新型的卷积神经网络来做语言翻译，比循环神经网络的速度快了9倍，而且准确性也是现有模型中最高的。此外，FAIR序列建模工具包的源代码和训练好的系统都已经在开源平台GitHub上公布，其他的研究者可以在此基础上建立自己的关于翻译、文本总结和其他任务的模型。

为什么选择卷积神经网络？

卷积神经网络在数十年前由Yann Lecun 提出，已经在诸如图像处理之类的领域取得了成功。 循环神经网络却是文本领域的现有技术，并且由于其极高的效率而成为语言翻译的首选。

尽管循环神经网络以前在语言翻译上比卷积神经网络表现的更好。但是其设计具有固有的局限性，这可以通过它们怎么处理信息来理解。计算机一句一句地来翻译一个文本然后去预测另外一种语言具有相同意思的单词序列。循环神经网络以严格的从左到右或者从右到左的来进行运算，一次处理一个单词。这和现在高度并行的GPU硬件有点不符合。由于单词只能一个接着一个进行处理，计算不能完全并行。而卷积神经网络可以同时计算所有的元素，充分利用了GPU的并行性。CNN的另一个优点是它对信息进行分层处理，这让它可以更容易获得数据之间的复杂关系。

在先前的研究中，卷积神经网络在翻译任务上的表现要差于循环神经网络。然而，由于卷积神经网络架构上的潜力，FAIR开始了研究，发现所设计的翻译模型显示了CNN在翻译方面的优异性能。CNN优异的计算性能将有可能会扩展可翻译的语言，将包括全球的6500种语言。

最快最好的结果

Facebook团队的结果表明，在广泛应用的标准测试数据集（WMT会议提供）上，其比RNN表现的更好。尤其是卷积神经网络比先前在WMT发表的结果都要好。在英语-法语任务上提高了1.5 BLEU，在英语-德语任务上提高了0.5BLEU，在WMT2016的英语-罗马尼亚语任务上，提高了1.8BLEU。

对神经机器学习实际应用考虑的一个方面在于翻译一个句子所需要的时间。 FAIR的卷积神经网络模型计算的相当快速，比循环神经网络快乐整整9倍。许多研究都通过量化权重或者其他的方法的方法来加速神经网络，这也同样可以用于卷积神经网络。

用多跳注意和门控来获得更好的翻译效果

团队的架构一个重要的部分就是多跳注意。注意力的机制类似于一个人在翻译句子的时候会把句子分开翻译，而不是仅仅看一次句子然后就直接写下完整的翻译。所设计的网络会重复地扫描句子来决定它将要翻译的下一个单词。多跳注意是这种机制的加强版，它让网络更多次地扫描句子来产生更加好的结果。每一次扫描之间都相互影响。举一个例子，第一次扫描会注意到一个动词，然后第二次扫描会注意到相关联的助动词。

在下面这幅图中，Facebook团队展示了一个系统是怎么阅读一个法语短语然后再翻译成英语的。首先，用卷积神经网络来生成每一个法语单词的对应向量，在此同时进行计算。然后解码的CNN再生成对应的英语单词。在每一步，都扫描一下法语单词来看一下哪些词语与下一个要翻译的英文单词关系最为密切。在解码器中有两层，下面的动画说明了每一层的注意力机制是怎么完成的。绿线的强度表现了网络对每一个法语单词的注意力。当网络训练好之后，也就可以进行翻译了，英文单词的计算也可以同时进行。

系统的另一个方面是门控，其控制神经网络里面的信息流。在每个神经网络中，信息都流过所谓的隐藏单元。的门控机制精确的控制了传向下一个单元的信息，一个好的翻译才因此产生。例如，当预测下一个单词的时候，网络会把它前面的翻译部分考虑进去。门控允许它在翻译的一个特定方向进行放大—这一切都取决于网络认为其在上下文中认为合不合适。

百度即将发布语音声纹识别系统 Deep Speaker

声纹识别是语音识别里一个比较窄的分支，通过对一种或多种语音信号的特征分析达到对未知声音辨别的目的，也就是说，可以通过声纹技术判断某句话是否为某个人所说。声纹识别的理论基础在于每个声音都有自己的特征，并能对不同的声源进行有效区分。

目前，声纹识别的任务主要有两种，一是声纹确认技术，即比对两份样本是否为同一人所说；另一个则是声纹识别技术，即判断某句话是样本库中的哪个人所说的。

今年年初，百度小度在“最强大脑”中也展示了采用声纹识别技术，从一群唱歌的参与者中找到拥有说某句话（样本为一段简短的通话）的那个人。百度官方在接受采访时，也指出本次节目的声纹识别难度比一般的声纹识别要难，主要采用的是“声学特征提取”与“说话人特征提取”两种方式，并用“DNN-ivector”及基于端到端深度学习的说话人信息提取算法进行训练和鉴别。

此前百度在语音技术上的进展。语音识别层面上，百度早在2010年就已经进行智能语音及相关技术研发。并从2012年开始逐步采用 DNN、Sequence Discriminative Training（序列区分度训练）、 LSTM 模型、CTC 及 Deep CNN 等神经网络进行语音的相关研究。在语音识别领域，百度相继于 2014 年及2015 年年底发布了 Deep Speech 和 Deep Speech 2，并凭借深度语音识别技术于 2016 年入选 MIT 十大突破技术。基于 Deep Speech 2 ，2017年百度推出了一款基于人工智能的转录应用 SwiftScribe。而在语音合成上，百度于今年正式推出 Deep Voice，一个实时语音合成的神经网络系统。

科大讯飞战略合作NVIDIA，携手共推智能语音平台

科大讯飞美国分公司总裁李春燕博士表示，随着对深度学习和人工智能技术要求日益提高，GPU在扮演越来越重要的角色。在NVIDIA推出Pascal架构的GPU平台后，科大讯飞第一时间应用NVIDIA Tesla P4深度学习进行训练，并取得了相对于CPU训练的50倍以上速度提升。

“原先需要两个月时间来完成的训练，现在只需要一天就能完成。”李春燕告诉雷锋网。

李春燕介绍，科大讯飞从2013年便开始使用NVIDIA的K10 GPU平台进行相关人工智能产品的开发，目前科大讯飞在线日业务量过35亿人次，总用户数超过10亿，拥有30万家合作伙伴、是中文语音技术市场的领先者。目前，科大讯飞的全行业语音产品和人工智能产品在教育、客服、车载、智能家居、智能硬件、医疗等方面均有着广泛的应用。

“目前深圳有超过60%做机器人的公司，他们用的都是讯飞的方案。”得知雷锋网(公众号：雷锋网)编辑来自深圳，李春燕如是说。

科大讯飞此次投入应用的Tesla P4具备超高的运算能力，主要将其应用于讯飞开放平台的深度学习推理，在语音识别的线上解码引擎上。相比起之前科大讯飞使用的M40，Tesla P4的并发路数提升了3-4倍，而功耗峰值降低至75W，仅相当于M40的1/2-1/3。

在性能优化上，科大讯飞也下了一番功夫。Tesla P4理论上能提供每秒22T INT8运算的计算峰值，在实际应用中，科大讯飞跑出了超过20T INT8运算的接近理论峰值的计算能力，这一结果让NVIDIA刮目相看。

“这是所有合作伙伴达到的最高数值。”NVIDIA全球副总裁、亚太区总裁Raymond Teh告诉雷锋网。

Tesla P4运算能力的提升和计算并发路数的提升对于科大讯飞来说至关重要。前者有助于帮助科大讯飞提升训练时间，加快迭代的速度，后者可以大大提高云端服务响应速度。通过在训练和推理两端同时用GPU加速，不仅能够降低在线识别的成本，更能有效提升客户的体验。

据NVIDIA业务发展总监何涛介绍，Tesla P4是为了适应未来数据中心低功耗计算能力而设计的。GPU对于所有计算中心的计算能力管理至关重要，P4迎合了数据中心的需求，不仅在性能上有显著提升，体积更小，可以在同样空间中配置更多的GPU；功率降低，更重要的是可以用PCIE供电，无需额外电源，能够便于客户更灵活地管理计算能力。

腾讯云正式加入CNCF和Linux基金会，推动CNCF和Linux全球发展

按照规则，基于企业会员对代码的贡献、贡献的标准和规范、为开源组织提供的支持等综合标准，CNCF基金会授予腾讯云金牌会员身份，同时基于腾讯云在Linux领域的积极贡献，腾讯云获CNCF基金会邀请加入Linux基金会。

腾讯云是国内最大的基于Kubernetes提供容器服务的公有云服务商，也是拥有国内最大规模KVM集群的企业。腾讯云加入CNCF和Linux基金会，标志腾讯云深度参与全球开源技术生态圈，在容器服务、KVM虚拟化等重大开源项目的实力已经得到全球核心开源组织和业界的认可，将为腾讯云进一步参与全球开源社区技术交流、参与开源项目开发等领域开拓全新局面。

CNCF及Linux基金会

据悉，CNCF基金会是由Linux 基金会发起的，致力于管理和运转原生云项目，吸纳开源社区和合作伙伴，共同推动Kubernetes以及容器计算发展的非营利组织，其成员包括Docker、Google、Intel、Red Hat、IBM等国际知名科技公司。

Linux基金会是全球知名的非营利性的联盟，致力于促进Linux的发展，推动行业产生原创性技术研究和内容，以促进Linux的发展。

腾讯云加入基金会的用户价值

CNCF基金会的执行董事Dan Kohn对腾讯云的加入表示欢迎，他表示，“建立在开源技术上的容器服务正在以难以置信的速度，让公司实现向云计算的迁移，这印证了目前大环境对开源技术的热情和信任。同时，对容器服务的积极采用将助燃一个新兴市场的产生，并让我们的用户立于不败之地。CNCF热烈欢迎新成员加入，我们希望大家可以从基金会和社区中获得帮助和指导，这将进一步夯实CNCF作为提供行业最优实践和云原生生态系统的第三方的重要价值。”

腾讯云专家工程师刘颖表示，容器技术的发展在为中国的云计算提供新思路，对云计算领域产生积极深远的影响，腾讯云在国内提供的容器技术已经帮助大量互联网和传统企业快速构建云原生应用，使企业系统组件化、微服务化，实现持续集成和交付，加快应用迭代，降低开发成本，同时也是实现DevOps的重要支撑。

腾讯云在CNCF与Linux领域的贡献

在实际的产品设计中，腾讯云的容器技术不仅拥抱开源、支持用户直接调用Kubernetes API，还基于Kubernetes打造了CBS、CLB等产品插件，并在容器网络上以腾讯云私有网络为基础，实现高可靠、高性能的网络方案。三一重工、华尔街见闻APP在面对原系统拆分后微服务架构部署、开发测试应用部署等需求时，均选择使用腾讯云容器服务。

在加入CNCF基金会后，腾讯云将从产品出发，基于大量用户在产品使用中的感受和腾讯云的服务实践，将有价值的特性推送和反馈给社区，与社区一起完善相关特性，同时又从社区中获得广泛的用户反馈，再次回到产品，提升腾讯云的产品体验。比如腾讯云将在未来推送自身的Kubernetes相关特性进入CNCF开源社区，并继续通过Kubernetes的Bugfix，Code Optimization及Design Proposals等方式更多地参与到社区特性开发的工作当中。在这个过程中，腾讯云紧密服务社区，并进一步拓宽技术视野，更深地加入到全球技术交流中。

与此同时，腾讯云多年来一直与Linux开源社区互动，与专注系统底层、高性能加速、解决方案的各类社区保持稳定良性的交流，不断反馈技术成果。腾讯云在云计算基础IaaS关键技术——虚拟机热迁移和稳定方面已经取得了重大成果，设计热迁移过程中内存的快速写保护算法，解决了虚拟机热迁移过程中如虚拟机磁盘IO性能下降、迁移后QCOW2镜像零页写操作等难题，还重构了KVM的RTC计时框架，让windows虚拟机的时钟系统在时钟频率频繁调整的情况下保持精准。

腾讯云在CNCF与Linux社区的计划

过去，这些成果都由腾讯云以核心patch的方式回馈给CNCF和Linux社区，而加入CNCF和Linux基金会后，基于腾讯云在容器服务的实践，将给予CNCF原生云建设回馈；同时腾讯云基于庞大的用户规模，在虚拟机方面有丰富的研究与实践，将给予Linux社区以巨大的回馈。

刘颖表示，希望能成为全球开源社区的新力量，推动CNCF和Linux的发展，分享腾讯云的经验，为CNCF和Linux的项目做出贡献，腾讯云将与社区紧密联系在一起，为全球用户提供高品质、全能力的技术服务。

在数字经济时代，云计算正在改变整体商业的运作模式，而开源技术也在加速企业向云计算迁移的步伐，以及改变云计算领域部署和管理应用的方式。自建立以来，CNCF和Linux基金会始终在推动合作伙伴在社区共同贡献更多的开源技术，腾讯云的加入将有望加速全球技术的发展进程。