Nature Communications | 基于注意力机制对RNA修饰位点多标签分类的预测与解释

智能生信

发布于 2021-08-13 11:16:46

5780

发布于 2021-08-13 11:16:46

文章被收录于专栏：智能生信

作者 | 金俊儒编辑 | 龙文韬校对 | 李仲深

今天给大家介绍西交利物浦大学孟佳教授等人在Nature Communications期刊上发表的文章“Attention-based multi-label neural networks for integratedprediction and interpretation of twelve widely occurring RNA modifications”。RNA修饰增加了RNA分子的结构和功能的多样性，因此，精确识别RNA修饰位点对于理解RNA的功能和调控机制至关重要。为了综合预测和解释转录后的RNA修饰位点，作者提出了基于注意力的多标签深度学习框架的模型MultiRM。MultiRM不仅可以同时预测12个广泛存在的转录组位点，而且对预测过程中的关键序列进行了提取分析，揭示了不同类型的RNA修饰之间有很强的关联，有助于更好的综合分析和理解基于序列的RNA修饰机制。

一、研究背景

首先，现有的对RNA修饰点判别的方法大多只涉及到一个类别，并没有注意到RNA修饰位点之间的联系。其次有些方法数据量不足，考察的位点太少，这导致实验存在一定的缺陷。另外，有一些模型预测的准确度可以，但是可解释性太差，即使有些实验采用了CNN核的可视化，但还是很模糊，带有不确定性。所以，作者针对上述问题提出了对十二种常见的RNA分类预测模型，采用了integrated gradient和attention weight两种方法着重于获得对模型更好的解释。同时，为了解决数据量不平衡的问题，引入了online hard examples mining和uncertain weights来提高准确性。

二、模型与方法

2.1 数据集

所有的数据都是公开并可以在GEO database, RMBase, and RADAR database三个数据库中获取的，并且将有瑕疵的数据都舍弃了，增加了模型的鲁棒性和可靠性。经过以上筛选，最终得到了20个转录组，从15个不同的实验里得到的12种RNA修饰的分类(如表1所示)，涵盖了所有能通过基本方法检测出来的RNA修饰以及包含了将近3000个RNA位点。

表1. 转录RNA数据列表

2.2 模型

如图2所示，整个模型由三个部分组成，第一部分将输入转化成embedding，分别采用了三种方法：一维卷积+一维池化，Word2Vec，隐马尔可夫模型。将得到的三种embedding单独各自输入到第二个部分LSTM+Attention层，然后得到的特征组合进入第三个部分分类器中进行多标签分类的任务。为了解决数据不平衡的问题采用了交叉熵+onlinehard examples mining+uncertain weights的优化器，并得到了较好的性能提升效果。另外，通过实验得到的结果对比发现采用51-bp的input长度预测是最准确的。