具有注意力机制的递归神经网络(RNN)通常用于机器翻译和自然语言处理。在Python中,具有注意力机制的RNN的实现在机器翻译中非常丰富(例如,https://talbaumel.github.io/blog/attention/,但是我想要做的是在时态数据文件(不是任何基于文本/句子的数据)上使用带注意力机制的https://talbaumel.github.io/blog/attention/。
我有一个尺寸为21392 x 1972的CSV文件,我已使用Pandas将其转换为Dataframe。第一列是Datetime格式,最后一列由"Class1“、"Class2”、"Class3“等目标类组成。因此,总共有21392行( 10分钟时间步长内的数据实例)和1971年的特征。最后一列(1972th列)是标签列,总共有14个不同的类。
我已经查看了Keras (https://medium.com/datalogue/attention-in-keras-1892773a4f22)和Tensorflow (Visualizing attention activation in Tensorflow)上可用的实现文档,但它们似乎都没有完成我想要完成的任务。我知道这是一种不同寻常的方法,但我想尝试一下并使用注意力机制,因为我的许多特征在数据中可能是多余的。
import pandas as pd
mydataset = pd.read_csv('final_merged_data.csv')
从现有文献中可以看出,当与RNN结合时,注意力机制工作得很好。我找不到任何这样的带有注意力机制的RNN实现,它也可以提供可视化。我也无法理解如何将我的数据转换成序列(或列表列表),这样我就可以在使用RNN时使用它和一个热编码。我刚开始使用Python和Keras/Tensorflow,在将我的数据/类型转换为能够模拟序列分类问题的形式的过程中,我感到非常困惑。我的问题基本上是多类分类,就像人们通常使用机器学习分类器来预测标签一样,但要注意使用RNN。在这方面的任何帮助都将受到高度的感谢。干杯!
发布于 2019-01-17 22:43:08
请参阅本白皮书,了解如何使用Sequence to Sequence Model进行时间序列分类。
https://www.computer.org/csdl/proceedings/icdmw/2016/5910/00/07836709.pdf
https://stackoverflow.com/questions/54238079
复制相似问题