首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

自注意联想记忆 Self-Attentive Associative Memory 代码

迄今为止,具有外部记忆的神经网络局限于具有记忆相互作用的有损表示的单个记忆。记忆片段之间关系的丰富表现促进了高阶和分离的关系记忆。在本文中,我们建议将个体经验的存储(item记忆)和它们的发生关系(关系记忆)分开。这一思想是通过一种新颖的自注意联想记忆(SAM)算子实现的。在外积的基础上,SAM形成了一组联想记忆,它们代表了任意记忆元素对之间的假设的高阶关系,通过这些记忆,由item记忆构成了关系记忆。这两个记忆被连接成一个既能记忆又能进行关系推理的单一序列模型。我们使用我们提出的双记忆模型在各种机器学习任务中取得了有竞争力的结果,从具有挑战性的综合问题到诸如几何、图形、强化学习和问题回答的实际测试。

02

从黑盒到玻璃盒:fMRI中深度可解释的动态有向连接

大脑网络的交互作用通常通过功能(网络)连接来评估,并被捕获为皮尔逊相关系数的无向矩阵。功能连接可以表示静态和动态关系,但这些关系通常使用固定的数据窗口选择来建模。或者,深度学习模型可以根据模型体系结构和训练任务灵活地从相同的数据中学习各种表示。然而,由深度学习模型产生的表示通常很难解释,并且需要额外的事后方法,例如,显著性映射。在这项工作中,我们整合了深度学习和功能连接方法的优势,同时也减轻了它们的弱点。考虑到可解释性,我们提出了一个深度学习架构,它反映了一个有向图层,它代表了模型所了解到的关于相关大脑连接的知识。这种结构可解释性的一个令人惊讶的好处是,显著提高了鉴别对照组、精神分裂症、自闭症和痴呆患者的准确性,以及从功能MRI数据中对年龄和性别的预测。我们还解决了动态有向估计的窗口大小选择问题,因为我们从数据中估计窗口函数,捕获了在每个时间点估计图所需的东西。我们展示了我们的方法与多个现有模型相比,它们的有效性,而不是我们以可解释性为重点的架构。使用相同的数据,但在他们自己的分类任务上训练不同的模型,我们能够估计每个被试的特定任务的有向连接矩阵。结果表明,与标准的动态功能连接模型相比,该方法对混淆因素具有更强的鲁棒性。我们的模型捕获的动态模式是自然可解释的,因为它们突出了信号中对预测最重要的信号间隔。该方法表明,感觉运动网络和默认模式网络之间的连接差异是痴呆症和性别的一个重要指标。网络之间的连接障碍,特别是感觉运动和视觉之间的连接障碍,与精神分裂症患者有关,然而,与健康对照组相比,精神分裂症患者表现出更高的默认模式网络内的功能连接。感觉运动网络的连接对痴呆和精神分裂症的预测都很重要,但精神分裂症更多地与网络之间的连接障碍相关,而痴呆生物标记物主要是网络内的连接。

03
领券