首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

AAAI 2019 Gaussian Transformer: 一种自然语言推理的轻量方法

自然语言推理 (Natural Language Inference, NLI) 是一个活跃的研究领域,许多基于循环神经网络(RNNs),卷积神经网络(CNNs),self-attention 网络 (SANs) 的模型为此提出。尽管这些模型取得了不错的表现,但是基于 RNNs 的模型难以并行训练,基于 CNNs 的模型需要耗费大量的参数,基于 self-attention 的模型弱于捕获文本中的局部依赖。为了克服这个问题,我们向 self-attention 机制中引入高斯先验 (Gaussian prior) 来更好的建模句子的局部结构。接着,我们为 NLI 任务提出了一个高效的、不依赖循环或卷积的网络结构,名为 Gaussian Transformer。它由用于建模局部和全局依赖的编码模块,用于收集多步推理的高阶交互模块,以及一个参数轻量的对比模块组成。实验结果表明,我们的模型在SNLI 和 MultiNLI 数据集上取得了当时最高的成绩,同时大大减少了参数数量和训练时间。此外,在 HardNLI 数据集上的实验表明我们的方法较少受到标注的人工痕迹(Annotation artifacts) 影响。

04

一种用Gaussian 16中的GIC功能实现同时扫描多个坐标的方法

势能面扫描是我们用Gaussian常做的计算,一般可以分为刚性扫描和柔性扫描。如果在柔性扫描中给定两个坐标,那么我们将会得到二维势能面。但是有时候我们只希望两个坐标同时变化得到一条势能曲线,这可以通过使用Gaussian中的GIC(广义内坐标)实现。本公众号之前也给出了一个可行的解决方案,见《在Gaussian16中同时扫描两个反应坐标》。但是之前方案的缺点是使用了Link1,在用GaussView打开输出文件时不能很方便地显示能量的变化趋势,这在找能量极大,极小点时会带来困难。因此这里给出了一个新的方案,不使用Link1,让势能曲线可以直观地显示出来。

03
领券