深度神经网络对脑电信号运动想象动作的在线解码
近年来，深度学习方法的快速发展使得无需任何特征工程的端到端学习成为可能，这有利于BCI运动想象应用的发展。慕尼黑工业大学和澳大利亚研究发展团队(Research and Development, Integrated Research, Sydney 2060) 在论文中将深度学习方法与传统分类算法在数据集上进行了验证比较。
实时脑电信号解码和Katana机器人手臂控制的实时设置。P(L)和P(R)分别代表左手和右手移动的概率。
非侵入性脑机接口(BCI)是一种智能系统，让用户能够与外部设备(例如计算机或神经假体)进行通信，而无需周围神经和肌肉的参与。基于BCI的运动想象(MI)描述了这样一个心理过程，在该过程中，一个人仅想像要执行某种动作，例如伸开或收缩左手或右手而不执行左手或右手。这种类型的BCI可以让健康和严重瘫痪的人控制机械臂[1]或在轮椅上移动[2]。
先前在MI模式[3]上进行大量的研究也取得了良好的结果，但BCI性能的进步在过去十年中一直停滞不前。设计更稳定的分类方法面临着巨大的挑战。由于脑电信号具有高度的非平稳性和低信噪比(SNR)，使得提取这些EEG特征变得十分困难。这也是分类性能停滞不前的主要原因。
近年来。深度学习方法的快速发展使得无需任何特征工程的端到端学习成为可能，这有利于BCI运动想象应用的发展。慕尼黑工业大学和澳大利亚研究发展团队的科研人员在论文中提出了三种深度学习模型：
（1）长短期记忆（LSTM）；
（2）基于谱图的卷积神经网络模型（CNN）；
（3）递归卷积神经网络（RCNN）。
将深度学习模型直接用于从原始EEG信号中解码运动想象，而无需任何人工特征工程。
研究者们为了记录MI-EEG数据，在实验中招募了20名健康的受试者(25.5~36.5岁)[右撇子], 进行了一系列的动觉性MI任务，共进行了750次试验。所有记录会话都在实验室进行，并且设置如图1所示。每节课4次，每次12分钟，中间休息10分钟，以避免精神疲劳。每次运行由几个MI任务组成，每个任务10 s长。在t=4.5 s时，显示一个指向左侧或右侧的箭头，并发出声音警告音(1 kHz，70 ms)。要求受试者根据显示的提示想象一个动作(向左或向右)，持续4秒钟。MI任务之后是1.5s的放松期，这两个试验是分开的。在实验记录期间，未请求执行任何移动。数据记录和采样频率为256Hz，记录和采样系统为用g.tec和g.USBamp脑电系统，根据10/20系统定位32个活性电极。
研究人员在论文中详细介绍了三种深度学习模型(LSTM、pCNN、RCNN)对脑电信号想象手部动作的在线解码。并在论文里与文献中提出的两种模型(dCNN、sCNN)进行了比较。
网络模型
下面主要介绍pCNN、RCNN、dCNN、sCNN等的网络结构。
pCNN模型的体系结构
模型参数：
pCNN模型的训练和验证损失：
蓝线和绿线分别代表训练和验证时在不同epoch对应的损失平均值。
研究人员发现，在epoch 62时(如上图所示)，与训练损失的持续减少相反，验证损失开始增加。这表明过拟合问题，可以通过用于训练的少量数据来解释。因此，如上所述，可以选择较早时停止训练以保存最佳模型。
RCNN的网络模型结构参数
Deep CNN (dCNN) 的网络模型结构参数
Shallow CNN (sCNN) 的网络模型结构参数
结果比较
下图a中为传统分类算法的结果。总体而言，QLDA优于所有其他分类器，CSP和log-BP特征下的平均准确率分别为79.5%和78%。DT表现最差，平均准确率为67%。根据QLDA分类器的性能，将20名参与者分为三组：(G1)受试者S3和S14的平均准确率低于75%。(G2)受试者S1、S2、S4、S5、S7、S8、S9、S10、S11、S12、S13、S15、S16、S17、S19和S20的平均准确度在75%到79%之间。(G3)受试者S6和S18的平均准确率分别为80.52%和82.09%。值得注意的是，使用QLDA进行测试时，使用小波方法获得了75%的平均精度。
上图b对比了使用改进的神经分类器(RCNN、LSTM、pCNN)和Schirrmeister等人提出的另外两种模型dCNN和sCNN得到的分类精度。值得注意的是，dCNN和pCNN模型优于其他所有已开发的分类器，并且具有更高的准确性。
使用5个不同的分类器对9个受试者进行MI分类。极坐标柱状图显示了9个研究对象的5个模型的精度范围(平均标准偏差)。下面的面板包含了每种算法实现的9个平均精度，黑色条表示中值结果。
结论
总体而言，两种CNN架构(dCNN和pCNN)表现出了更好的性能，在20个参与者中获得了高于84%的平均准确率，RCNN模型获得了77.72%的平均准确率，LSTM模型获得了与最新结果相当的准确率。