首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

神经网络架构搜索——可微分搜索(DARTS)

神经网络架构搜索之前主流的方法主要包括:强化学习,进化学习。他们的搜索空间都是不可微的,Differentiable Architecture Search 这篇文章提出了一种可微的方法,可以用梯度下降来解决架构搜索的问题,所以在搜索效率上比之前不可微的方法快几个数量级。可以这样通俗的理解:之前不可微的方法,相当于是你定义了一个搜索空间(比如3x3和5x5的卷积核),然后神经网络的每一层你可以从搜索空间中选一种构成一个神经网络,跑一下这个神经网络的训练结果,然后不断测试其他的神经网络组合。这种方法,本质上是从很多的组合当中尽快的搜索到效果很好的一种,但是这个过程是黑盒,需要有大量的验证过程,所以会很耗时。而这篇文章把架构搜索融合到模型当中一起训练。

02

网络表征学习综述

当前机器学习在许多应用场景中已经取得了很好的效果,例如人脸识别与检测、异常检测、语音识别等等,而目前应用最多最广泛的机器学习算法就是卷积神经网络模型。但是大多应用场景都是基于很结构化的数据输入,比如图片、视频、语音等,而对于图结构(网络结构)的数据,相对应的机器学习方法却比较少,而且卷积神经网络也很难直接应用到图结构的数据中。在现实世界中,相比图片等简单的网格结构,图结构是更泛化的数据结构,比如一般的社交网络、互联网等,都是由图这种数据结构表示的,图的节点表示单个用户,图的边表示用户之间的互联关系。针对网络结构,用向量的数据形式表示网络结构、节点属性的机器学习方法就是网络表征学习。

03

如何应对变化的图数据分布? Non-IID Graph Neural Networks

本文的出发点是 graph-level 的图分类任务,在图分类中,每个图都被视为一个数据样本,目标是在一组训练图上训练一个分类模型,通过利用其相关节点特征和图结构来预测未标记图的标签。当建立一个用于图分类的 GNN model 时,训练集中的图数据假定满足同分布。然而在现实世界中,同一数据集中的图可能具有差异性很大的不同结构,即图数据彼此之间可能是非非独立同分布的(Non-IID)。基于此本文提出了一种适用于 Non-IID 图数据的 GNN model。具体来说,首先给定一个图,Non-IID GNN 可以适应任何现有的图神经网络模型,为该图数据生成一个特定样本的模型。

02

使用EzReson进行化学共振分析(1):定量的共振理论

共振(resonance)是化学中一个常用概念,用来描述单个路易斯(Lewis)结构无法准确描述的分子结构。对于具有闭壳层电子结构的分子,所有的电子都自旋配对,Lewis用孤对电子和共价键来表示这些电子对,其中前者位于单个原子上,具有单中心-两电子(1c-2e)的特征,而后者则共享于两个原子之间,具有两中心-两电子(2c-2e)的特征。因此,一个合法的Lewis结构都是由1c-2e的孤对电子和/或2c-2e的共价键构成。显然,对于某些“非经典的”具有多中心键(即成键电子对离域在三个或更多原子之间)的分子,就无法用一个Lewis结构来确切描述了。为解决这个问题,Pauling提出一个自然的想法:可用多个Lewis结构来描述非经典成键的分子。一个“教科书式”的例子就是苯分子,其6c-6e的大Π键无法用单个的含三个双键的Lewis结构(称为苯的Kekulé结构)来描述,但可以用两个这样的Kekulé结构来描述——可认为苯的离域Π键是两个Lewis(Kekulé)结构的“共振”平均的结果(见图1)。在共振理论中,把这种由多个Lewis结构共振平均后的结构称为共振杂化体(resonance hybrid)。因此,具有非经典成键特征的分子就可以由共振杂化体来合理描述。

01

【ACL 2021】开放域对话结构发现

从真实人-人对话中学习离散的对话结构图,有助于人们理解对话规律,同时也可以为生成通顺对话提供背景知识。然而,当前在开放域对话下,这一问题仍然缺乏研究。在本文中,我们从聊天语料库中无监督地学习离散对话结构,然后利用该结构来促进连贯的对话生成。为此,我们提出了一个无监督模型(DVAE-GNN),来发现多层次的离散对话状态(包括对话和句子层)以及学习不同对话状态之间的转移关系。其中,对话状态以及状态之间的转移关系组成了最终的对话结构图。进一步的,我们在两个基准语料库上进行实验,结果表明DVAE-GNN能够发现有意义的对话结构图,且使用对话结构作为背景知识可以显著提高开放域对话的多轮连贯性。

04
领券