“EEG-GAN”：如何用生成式对抗网络生成“脑电图”脑信号

图源：pixabay

原文来源：arXiv

作者：Kay Gregor Hartmann、Robin Tibor Schirrmeister、Tonio Ball

「雷克世界」编译：嗯~阿童木呀、EVA

导语：可以这样说，一直以来，生成式对抗网络（GAN）主要用于图像的生成，用于关于时间序列的研究中并不是很多。最近，弗莱堡大学（University of Freiburg）的科学家们将GAN框架应用于人工脑电图信号的生成，提出了EEG-GAN框架，用于脑电图（electroencephalographic，EEG）脑信号的生成。

生成式对抗网络（Generative adversarial network，GAN）最近在涉及到图像的生成式应用程序中非常成功，并开始应用于时间序列数据（time series data）。在这里，我们将EEG-GAN定义为一个生成脑电图（electroencephalographic，EEG）大脑信号的框架。我们对Wasserstein GAN的改进训练进行了修改，以稳定训练并研究一系列对时间序列生成至关重要的架构选择（最显著的是上采样（up-sampling）和下采样（down-sampling））。为了进行评估，我们考虑并比较了不同的衡量指标，如初始分值（Inception score）、Frechet初始距离（Frechet inception distance）和限幅Wasserstein距离（sliced Wasserstein distance），它们共同表明我们的EEG-GAN框架生成了自然的EGG样本。因此，它在神经科学和神经学的背景下开辟了一系列新的生成式应用程序场景，例如大脑—计算机接口任务中的数据增强，EEG超采样，或损坏数据段的恢复。生成特定类和/或具有特定属性信号的可能性，也可能为研究大脑信号的底层结构开辟了一条新的途径。

图1：WGAN批评者进行训练以最优化两种分布，其中（a）遥远，（b）近。

虽然机器学习的大部分内容涉及对来自分类任务等现实世界的数据进行信息解码，但最近也有一个非常活跃的领域，即如何通过隐式生成式模型生成现实世界数据。例如，生成人工数据可以用于数据增强（data augmentation），这种数据增强通过生成不包含在原始数据集中的自然外观样本，从而人为地增加不可见样本的训练数据。此外，生成具有某些特性的自然外观样本的可能性，以及对创建它们的模型的研究，可以成为理解用于训练GAN的原始数据分布的有用工具。

最近提出的用于生成人工数据的框架是生成式对抗网络（Goodfellow等人于2014提出），它为人工图像的生成提供了突破性结果。最初，普通GAN严重受到训练不稳定性的影响，并且仅限于低分辨率的图像的生成。通过不同的正则化方法（regularization method）（Mao等人于2016年提出、Arjovsky等人于2017年提出、Gulrajani等人于2017年提出、Kodali等人、于2017年提出），以及通过在训练期间逐渐增加的图像分辨率（Karras等人于2017年提出），生成图像的稳定性和质量方面已经取得了很大进展。GAN还允许在生成样本中对特定属性进行有意操作（Radford等人于2015年提出），因此它可以被证明是理解用于训练GAN的原始数据分布的有用工具。

图2：在高频率中，上采样可视化混叠伪像后，EEG信号的平均频谱像。原始信号首先由平均池化进行下采样，然后通过不同的上采样方法进行上采样。

GAN主要被开发和应用于图像生成，只有少数关于时间序列的研究；最近它们在人工音频的生成上展现了有发展前景的结果（Donahue等人，于2018年提出）。人工EEG信号的生成将在许多不同的涉及解码和理解大脑信号的领域中有所应用，但据我们所知，目前还没有关于用GAN生成原始EEG信号的研究。

图3：比较每个时间点中的实际信号和由不同架构所产生的信号之间的值分布。

在这项研究中，我们将GAN框架应用于人工脑电图信号的生成。虽然时间序列数据的生成通常采用自回归模型（例如Van den Oord等人（于2016年所提出）的WaveGAN），但我们故意选择了常规的卷积神经网络，原因主要包括两个方面，一方面是因为大多数GAN研究使用DCGAN架构（Radford等人于2015年提出），且该结构是基于CNN的。另一方面是因为CNN的局部和等级结构可以提供更好的可解释性（Sturm等人于2016年、Kindermans等人于2017年、Schirrmeister等人于2017年、Hartmann等人于2018年提出），这对于神经科学或临床背景中的脑信号尤为重要。为了生成EEG数据的自然样本，我们提出对Wasserstein GAN的训练进行改进，结果显示显著增加了训练稳的定性。此外，我们比较了不同的评估衡量指标，并讨论了在本研究中提供最佳结果的网络方法和架构选择。

通过这项研究，我们证明了用生成式对抗网络来生成人工脑电图信号。通过对改进的WGAN训练（Gulrajani等人于2017年提出）进行修改，我们能够逐步训练GAN以一种稳定的方式产生人工信号，且该信号与时域和频域中的单信道真实EEG信号非常相似。

图4：比较实际信号和由不同架构所产生的信号之间的频率谱分布。

我们通过将它们与各种指标进行比较，从而对上采样和下采样的若干种选择的上下两端进行了评估。在我们的案例中，初始评分（IS）（Salimans等人于2016年提出）没有给出有关模型所生成的信号质量的有意义的信息。此外，我们还观察到，具有最低Frechet初始距离（Frechet inception distances，FID）的模型（Heusel等人于2017年提出）不一定能够生成具有类似于实际输入样本的空间和光谱特性的信号。能够根据空间和光谱特性生成最自然分布信号的模型被赋值了最差的FID。因此，用于EEG中朝向良好的IS或FID迈进的GAN的优化，可能会导致那些被错误地认为与真实数据相类似的信号分布的产生。那些表现出最自然的空间和光谱分布的模型具有最好的Wasserstein距离（Wasserstein distance，SWD）。一个较低欧氏距离（Euclidean distance）表明了生成器对特定训练样本的选择偏好，尽管在我们的例子中，它不像表明训练样本的简单再现那么低。总的来说，没有一个衡量指标能够提供关于模型质量的足够信息，但FID、SWD和ED的组合为了解其可能的整体特性给出了一个很好的主意。因此，我们不推荐任何一个单一衡量指标，但鼓励使用具有不同优缺点的多个衡量指标。

图5：由（a）AVG-NN和（b）CONV-CUB模型所创建的信号。

可以这样说，随着人工脑电图信号的生成迈出了成功的一步，现在有许多开放的可能性有待于进一步调查研究。当然，下一步不仅要生成单信道信号，而且要建立完整的多信道EEG记录。为此，进一步了解不同设计选择（如卷积大小和上采样和下采样技术）所带来的影响非常重要。在我们的实验中，我们注意到卷积大小对频率范围的强大影响是由生成器进行正确表达的。此外，我们目前正在将我们的模型应用于来自不同科目的大量脑电图记录样本，并将由全体医学专家来评估所产生信号的质量。

总而言之，EEG-GAN为新应用开辟了新的可能性，使其不仅仅局限于数据增强，而且涵盖空间或时间超采样（Corley和Huang于2018年提出）或恢复损坏的信号。生成特定类别和/或具有特定属性的信号的可能性，也可能为研究脑信号的基础结构开辟了新的途径。

原文链接：https://arxiv.org/pdf/1806.01875.pdf