脑机接口中最优特征选择的多目标共生生物搜索算法（一）

今天分享一篇关于EEG特征选择优化的论文，发表于一区Top期刊Expert System with Applicaitons的论文Multi-objective symbiotic organism search algorithm for optimal feature selection in brain computer interfaces。

图片

图片

摘要：特征选择对于开发一个在特别大的特征空间中具有高分类精度和低计算复杂度的脑机接口(BCI)系统至关重要。特征选择问题已经通过许多不同的方法得到了解决。在这些方法中，特别是进化计算技术近年来受到了广泛的关注。然而，文献中很少有研究将模糊集问题作为一个多目标问题来寻找分类精度和所选特征数量之间的最优折衷。因此，本文提出了一种非支配排序多目标共生生物搜索算法来生成BCI最优特征子集。在两个基于运动图像的数据集上研究了该算法作为特征选择方法的效率和鲁棒性。数据集1和数据集2的分类准确率最高，分别为97.86%(11个特征)和96.57%(平均19个特征)。实验结果表明，该方法在提高两个数据集的分类精度和特征约简率方面都取得了令人满意的结果。通过与两个数据集上现有方法的比较，验证了该方法的优越性。此外，对共生搜索有机体算法的三个不同版本进行了改进，并对这些算法的优缺点进行了比较。综上所述，本文提出的NSMOSOS算法是解决FS问题的一种有效可行的方法，并有助于BCI应用的发展。

1 前言

在机器学习中，特征选择是一个重要的问题，因为现实世界中的问题往往有大量的特征，而整个特征是不必要的。特征选择的目标是识别重要的特征，并从数据集中去除不相关的特征，以保证数据降维、提高分类算法的性能、简化和加快学习过程(Dash & Liu，1997；Guyon & Elisseeff，2003)。

特征选择是一项困难的任务，因为对于具有n个特征的数据集，有2^n种可能的解决方案。当n增加时，从大量现有特征中提取相关特征的穷举搜索实际上是不可能的(Tan等人，2009)。自20世纪70年代以来，绝大多数研究者关注特征选择问题，提出了基于完全搜索、启发式搜索、贪婪搜索和随机搜索的多种方法(刘&于，2005；刘、赵，2009；刘等，2015，2010)。然而，对于这些选择方法，高计算时间和收敛到局部最优仍然是问题(刘等人，2011)。由于强大的全局搜索能力，进化计算技术最近变得非常流行。它们经常被用来克服这些缺点，特别是当特征数量变大时。遗传算法(GA)(洪，赵，2006；Tan等人，2008年；李等，2009；海姆达尼等人，2011年；Oreski & Oreski，2014)和粒子群优化(PSO)(创等，2011；林等，2008；Mohamad等人，2011年；薛，张，&布朗，2014；张等，2015a)是最广泛应用于特征选择的进化算法技术(薛，张，布朗，姚，2016)。最近用于解决FS问题的其他一些算法有蚁群优化(ACO) (Forsati等，2014；赵等，2014；Kashef & Nezamabadi-Pour，2014)、人工蜂群(ABC)(Mariki & Marikis，2014)、森林优化算法(FOA)(Ghami & Feizi-Derakhshi，2016)和Levy antlion优化(LALO) (Emary & Zawbaa，2018)。

现有的特征选择研究也可以根据评价标准分为两大类:基于包装器的特征选择研究和基于过滤器的特征选择研究(Kohavi & John, 1997)。在基于包装器的方法中，评估标准是所选特征的分类性能，而在过滤方法中，评估标准独立于机器学习技术。过滤方法使用不同的度量，例如基于信息论的度量(Kabir等人，2012；Kannan & Ramaraj，2010)，相关度量(李等，2009)，距离度量(刘等，2011)和一致性度量(Chakraborty & Chakraborty，2013)。虽然过滤方法通常比包装器方法在计算上容易，但是包装器方法通常比过滤方法具有更好的性能，因为它们考虑了分类算法上所选特征的性能(薛、张、布朗和姚，2016)。

用于特征提取的进化算法已应用于图像分析等多个领域(Ghosh等人，2013年；李等，2010)，人脸识别(Ramadan & Abdel-Kader，2009；Vignolo等人，2013)，基于脑电图(EEG)的脑机接口(Khushaba等人，2011)，基因分析(Banerjee等人，2007；Mohamad等人，2011)、疾病诊断(Da Silva等人，2011)、电力系统优化(Manimala等人，2011；拉莫斯等人，2012年)。尽管近年来BCI的应用有所增加，但可以看出，基于特征选择算法的进化算法应用于BCI系统是有限的，因为BCI数据的挑战，如相关和高维数据以及少量的脑电图观察。在BCI研究中，应用于特征提取问题的最流行的进化算法是经典遗传算法及其不同版本。加勒特等人(2003)使用经典遗传算法编码每个个体中的所有特征来搜索特征空间，并为手指运动任务产生最佳特征子集。搜索由支持向量机(SVM)分类器的性能来指导，获得的最佳适合度是76%的分类精度。

在另一项研究中，剔除型遗传算法被用来选择两个肢体运动分类中相关特征的一个小子集(Yom-Tov & Inbar，2002)。利用SVM分类器对10个特征进行分类，分类准确率达到87%。该方法还应用于三肢(两个手指和左脚趾)分类，分类准确率达到63%。在本研究中，强调了滤波算法的使用不适用于BCI分类任务，基于遗传算法的特征选择方法有助于显著提高分类精度。使用具有有限数量特征的遗传算法来选择最佳特征组合，以最小化运动想象的单一异步试验的脑电图信号分类中的分类误差(Koodziej等人，2011)。预先确定在提取的672个特征中仅选择30个特征。用线性判别分析(LDA)对单次遗传算法的分类误差在11.6%-8.6%之间。在特征选择方面，Rejer (2015a)提出了一种具有攻击性变异的遗传算法(GAAM)，该算法结合了遗传算法和正向选择方法。该方法被用于对在左手和右手的想象运动期间记录的脑电图信号进行分类。使用线性SVM分类器仅获得5–6个输入特征的高精度。

此外，本研究还展示了这一版本的遗传算法相对于ReliefF、正向选择和最小绝对收缩选择算子(LASSO)等三种流行的特征选择方法的优越性。融合个体的遗传算法是遗传算法的另一个版本，它被应用于第二届BCI竞赛的模糊推理问题(数据集三——运动图像)(Rejer，2015b)。将该方法与经典算法、剔除算法和攻击变异算法进行了比较。从得到的结果来看，考虑到分类精度，GAAM是最好的，而融合个体的遗传算法提供的特征集较小，约为33%，精度稍小。除遗传算法外，BCI数据中还使用了其他一些进化算法。提出了一种基于粒子群算法的特征选择算法，从提取的特征中选择相关特征(Kumar & Inbarani，2017)。在本研究中，通过使用邻域粗糙集分类器(NRSC)方法对多类运动图像(BCI竞赛四数据集IIa)进行分类，最多10个特征的分类准确率达到80.98%。提出了一种差分进化优化算法，为BCI竞赛三数据集IVa生成最优特征子集(Baig等人，2017)。将该方法与模拟退火算法、人工神经网络算法、粒子群算法和蚁群算法进行了比较。结果表明，利用SVM分类器对10个特征进行分类，平均准确率达到95%以上，表明了差分进化算法相对于其他算法的优越性。

虽然模糊系统问题的两个主要目标是最大化分类精度和最小化特征数量，但是大多数模糊系统技术仅旨在提高分类器的精度，或者它们仅考虑分类精度和特征数量相结合的单个目标函数。然而，这两个目标往往相互矛盾。因此，应该将特征选择视为一个多目标问题，以确定两个目标之间的帕累托最优解。EC技术更适合于多目标特征选择算法，因为它们在一次运行中生成多个解(薛等人，2016)。尽管如此，在文献(薛等，2016)中可以看到，基于EC技术的多目标优化算法对于特征选择的研究还不够充分，单目标的研究工作比多目标方法多。大多数多目标方法是基于非支配排序遗传算法二(-二)或其变种(黄等，2010；Vatolkin等人，2012年；Vignolo等人，2013年；Mukhopadhyay & Maulik，2013；Tan等人，2014年；De la Hoz等人，2014年)。而且，PSO(薛等，2013；张等，2014)、ACO (Vieira等，2009)和DE(薛等，2014b)是应用于多目标特征选择的其他EC技术。所有这些工作表明，就分类性能和特征数量而言，多目标优化算法具有比单目标方法相当好的性能。然而，现有的研究一般针对中小型数据集，因此可以看出，多目标模糊系统问题仍然是BCI数据的一个开放研究领域，这是一个高维数据。

此外，由于应用于特征选择问题的多目标进化算法是基于遗传算法、粒子群算法和蚁群算法等传统算法，这些算法普遍存在陷入局部最优、计算复杂度高和收敛速度慢等主要问题(Abdullahi等人，2019)，因此需要研究一种新的多目标算法解决特征选择问题的能力。与这些传统的元启发式算法相比，通过激发生态系统中生物之间的相互作用而开发的SOS算法更加鲁棒，并且具有更快的收敛速度(Abdullahi等人，2019)。SOS算法优于其他大多数基于群体的元启发式算法有三个主要原因。首先，SOS算法的共生和共生阶段专注于生成新的生物体，并使算法能够在搜索空间中发现不同的解。因此，提高了算法的探索能力。第二个原因是寄生阶段通过避免算法陷入局部最优来提高算法的利用能力。最后一个是SOS算法只有种群规模和最大迭代次数两个一般参数。它没有任何特定的算法参数，如遗传算法中的交叉和变异率参数，或粒子群算法中的惯性权重、认知因素和社会因素参数，消除了因参数调整不当而导致的收敛到局部最优解的问题，并减少了计算时间(Tran等人，2016)。SOS算法的所有这些优点使其成为一个热门话题，因此它在很大程度上适用于解决各种领域的广泛优化问题，如经济调度(Guvenc等人，2016)、电力系统优化(Duman，2016)、运输(Vincent等人，2016)、机器学习(Nanda & Jonwal，2017)和最优控制器设计(周等人，2019)。最近，作为传统SOS算法的替代方案，开发了SOS算法的改进版本(苗等人，2019a，b)和混合版本(吴等人，2018)，以提高其性能。韩等人(2019)将SOS算法的二进制版本应用于来自存储库的19个数据集的FS问题。

所得结果表明，二分类SOS算法可以在大多数数据集上用最少的特征获得较高的分类精度。此外，SOS算法已应用于多目标优化问题。Dosoglu等人(2018)提出了一种基于加权和方法的多目标共生生物搜索算法，用于解决电力系统的经济/排放调度问题。将该算法与其他优化算法如遗传算法、差分进化算法、粒子群算法、蜜蜂算法、地雷爆炸算法和布谷鸟搜索算法进行比较，可以看出该算法具有更好的效果。Tran等人(2016)开发了一种新的基于时间-成本-劳动力利用权衡问题的多目标共生生物搜索(MOSOS)算法。通过与NSGA二号算法、多目标粒子群优化算法、多目标差分进化算法和多目标人工蜂群算法的比较，验证了多目标优化算法的有效性。

文献综述表明，虽然特征选择研究频繁，但多目标特征选择的研究却很少。此外，现有的多目标研究存在上述问题，并且没有处理像BCI数据这样的大规模数据集。考虑到目前文献中的不足和SOS算法的优点，本文提出了一种基于包装器模式的多目标算法用于BCI。据我们所知，这项工作是第一次使用多目标共生生物搜索算法来选择最佳的特征组合，既最大限度地提高分类精度，又最小化基于运动想象的脑电图的选定特征数量。该方法在BCI域的两个著名数据集上进行了测试，验证了其可靠性和鲁棒性。将两个数据集的结果与现有方法进行了比较，并给出了对解决方案质量的贡献。

仿真结果表明，该算法不仅提高了BCI数据集的分类性能，而且减少了特征数量，取得了令人满意的结果。该方法对两个数据集都产生了较好的结果，证明了该方法的鲁棒性。在本文中，不同版本的SOS算法也只在数据集1上进行了研究和实现。对这些算法的结果进行了比较，并评价了它们的优缺点。本研究对引入NSMOSOS算法具有重要意义，NSMOSOS算法是解决特征选择问题的一种强大而可行的技术，将为BCI应用的发展做出重要贡献。