2020年最新！百度、微软、浪潮、谷歌企业级综述更新！

本期为大家推荐的四篇综述分别都是今年三月份刚刚出炉的，它们分别是：中科院百度微软等学者最新推荐系统综述，DeepMind的上下文嵌入综述，浪潮集团的自动超参数优化-算法和应用综述以及Google元老Eric Schmidt发布的深度学习2020综述。高效率的学习往往只需要两样东西，一是强烈的求知欲；二是站在巨人的肩膀上。

推荐系统

A Survey on Knowledge Graph-Based Recommender Systems

作者：

Qingyu Guo, Fuzhen Zhuang,Chuan Qin等

简介：

有百度的地方怎么能少得了推荐系统主题！本篇综述也包含微软亚洲研究院和中科院的最新成果。为了解决信息爆炸的问题，提高用户在各种在线应用程序中的体验，推荐系统已经被开发并用于模拟用户的偏好。尽管人们已经做出了许多努力来实现更加个性化的推荐，但推荐系统仍然面临着一些挑战，比如数据稀疏性和冷启动。近年来，以知识图谱作为边信息生成推荐引起了人们的极大兴趣。这种方法不仅可以缓解上述问题，提供更准确的推荐，而且可以对推荐的项目进行解释。本文对基于知识图谱的推荐系统进行了系统研究。作者收集了这一领域最近发表的论文，并从两个角度进行了总结。一方面，研究如何利用知识图谱进行准确和可解释推荐相关论文中的算法；另一方面，作者对这些论文中使用的数据集进行了介绍；最后提出了几个可能的研究方向。

上下文嵌入

A Survey on Contextual Embeddings

作者：

Qi Liu, Matt J. Kusner, PhilBlunsom

简介:

本文是由牛津大学、伦敦大学、图灵研究所、以及DeepMind四家机构合作完成！诸如ELMo和BERT的上下文嵌入模型已经超越了像Word2Vec这样的全局单词表示方法，并在广泛的自然语言处理任务上取得了突破性的提升。上下文嵌入是根据上下文的语义为每个单词分配一个表示，从而捕获不同上下文中单词的用法，并对跨语言的知识传输进行编码。在这项研究中，作者整理了现有的上下文嵌入模型、跨语言的多语言预训练、上下文嵌入在下游任务中的应用、模型压缩和模型分析。

研究发现，基于大型语料库的无监督分布式训练经常在目前的自然语言处理系统中被使用，可是这种方式通常会忽略单词的上下文，而上下文嵌入却突破了这个局限，这使得其在文本分类和文本摘要等问题处理上取得了很大的进步。

超参数优化

Hyper-Parameter Optimization：A Review of Algorithms and Applications

作者：

Tong Yu，Hong Zhu

简介：

本文由云计算、大数据服务商，浪潮集团的核心部门：AI和高性能计算部门独立完成。自从深度神经网络被开发出来，它们为人们的日常生活做出了巨大的贡献。然而，神经网络的设计和训练仍然具有挑战性、存在过程不可预测的问题，因此它们被称为炼金术。为了降低普通用户的技术门槛，自动化的超参数优化(HPO)已成为学术界和工业界的热门话题。本文对HPO中最基本的内容进行了综合描述。第一部分介绍了与模型训练以及结构相关的关键超参数，并讨论了它们的重要性和如何定义值的范围。然后，研究了主要的优化算法及其适用性，包括它们的效率和准确性，特别是针对于深度学习网络。接下来，作者回顾了HPO的主要服务和工具包，比较了它们对最先进的搜索算法的支持、与主要深度学习框架的适配性以及新模块设计的可扩展性。本文总结了HPO在深度学习中存在的问题，优化算法的比较，以及在计算资源有限的情况下进行模型评估的突出方法。

深度学习

Survey of Deep Learning for Scientific Discovery

作者：

MaithraRaghu，Eric Schmidt

简介：

谷歌大佬Eric Schmidt携手康奈尔大学Maithra Raghu整理了用于科学发现的深度学习资料。广泛的科学领域中收集的数据量在规模和复杂程度上都在急剧增加，这为深度学习在其中的应用提供了许多机会。但在科学发现中所面临的一个重大挑战就是我们需要知道从哪里开始。由于深度学习技术的广度和多样性，研究人员很难确定哪些科学问题最适合使用这些方法，或者哪些特定的方法组合可以达到最佳的效果。在这个研究中，作者专注于解决这个核心问题,提供了许多被广泛使用的模型概述，介绍了诸如视觉、图像等多种结构化数据，通过使用较少的数据和更好理解复杂模型为中心进行评价的不同训练方法，以及深度学习在科研探索中的一些应用案例 。本文还包括了对模型设计过程的概述、实现技巧，以及基于社区开发的大量教程、研究性总结、开源深度学习流程和预训练模型的链接。作者希望通过本文加速深度学习在不同科研领域中的应用。