TPAMI 2023｜eSL-Net++：基于事件相机的超分辨率图像恢复

论文地址：https://link.springer.com/chapter/10.1007/978-3-030-58601-0_10

论文源码：https://github.com/ShinyWang33/eSL-Net

摘

由于事件相机具有极高的时间分辨率，其在机器人和计算机视觉方面具有很大的潜力。然而，它的异步成像机制往往会加重测量对噪声的敏感性，给提高图像空间分辨率带来物理负担。为了恢复高质量的强度图像，算法需要同时解决事件相机的去噪和超分辨率问题。由于事件描述了图像亮度的变化，利用基于事件增强的图像退化模型，可以从存在噪声的、模糊和低分辨率的强度观测中恢复清晰的高分辨率潜在图像。利用稀疏学习框架，可以同时考虑事件和低分辨率强度图像。在此基础上，我们提出了一种可解释网络，即基于事件增强的稀疏学习网络（eSL-Net），用于从事件相机中恢复高质量图像。在使用合成数据集进行训练后，所提出的eSL-Net可以极大地提高7-12 dB的性能。此外，不需要额外的训练过程，所提出的eSL-Net可以很容易地扩展到帧率与事件相同的连续帧生成任务中。

图1 eSL-Net的算法流程示意图以及模型效果

目前需要解决的问题

利用事件相机恢复高质量图像应同时解决以下问题：

1）运动模糊：主动像素传感器（APS）帧率相对较低 (≥5 ms延迟)，其在记录高速场景时，运动模糊是不可避免的。

2）图像噪声：热效应或不稳定的光环境会产生大量的噪声事件，再加上APS自身的噪声，强度图像的重建将陷入混合噪声的问题。

3）低空间分辨率：目前消费级事件相机通常具有非常低的空间分辨率，这是为了平衡事件数据的空间分辨率和延迟。

本文的贡献

1）作者结合基于事件增强的图像退化模型以及稀疏学习框架，提出了一种可解释网络——基于事件增强的稀疏学习网络eSL-Net，用于从事件相机中恢复高质量图像。

2）作者提出了一种简单的方法来扩展eSL-Net，以实现高帧率和高质量的视频恢复。

3）作者为事件相机建立了一个合成数据集，其中事件数据、LR模糊图像和HR清晰图像。

算法原理

最后将公式运用在整个图像的所有像素上，就可以得到一个关于[tr,t]时间间隔内的事件流、t时刻的观测强度图像以及tr时刻潜在清晰强度图像三者之间的简单模型：

在实际应用中，传感器的非理想性以及相机与目标场景之间的相对运动会极大地降低观测到的强度图像Y[f]的质量，使其具有噪声和运动模糊。此外，尽管事件相机具有极高的时间分辨率，但由于硬件设计的限制，其空间像素分辨率相对较低。考虑到这些因素，公式需要加入一些不定因素，改写为：

图2 eSL-Net的模型细节

受到基于深度学习的稀疏编码方法的启发，作者将稀疏编码过程集成到CNN架构中，提出了一种基于事件增强的稀疏学习网络eSL-Net，在统一的框架下解决噪声、运动模糊和低空间分辨率的问题。如图2所示，eSL-Net的基本思想是将基于事件的强度图像重建方法的更新步骤映射到由多个固定阶段组成的深度网络架构，每个阶段对应于公式(9)的一次迭代，因此eSL-Net是一个可解释的深度网络。当公式(9)中的系数为非负时，ISTA不受影响，则很容易发现逐元素软阈值函数与ReLU激活函数的相等性。然后公式中的加减运算也可以看成是神经网络的卷积运算。由公式(5)可知，

为事件的二重积分。在离散情况下，连续积分转化为离散求和，更一般地，用加权求和卷积来代替积分。这样，通过两个具有合适参数的卷积层，可以将输入的事件流转换为近似的E。此外，卷积对事件流有一定的去噪效果。最后，迭代模块输出的最优稀疏编码

与高分辨率字典Dx计算得到最终的清晰图像。在eSL-Net中，使用卷积层和shuffle层来实现高分辨率字典Dx，因为shuffle算子对不同通道的像素进行排列，可以看作是一个线性算子。

实验结果

作者使用NVIDIA Titan-RTX GPU在50个epoch的合成训练数据集上训练提出的eSL-Net，并将其与最先进的基于事件的强度重建方法进行比较，包括EDI，互补滤波器方法(CF)和manifold正则化方法(MR)。此外，为了证明其同时解决去噪、去模糊和超分辨率三个问题的能力，将其与EDI、CF和MR进行了比较，并配置了性能优良的SR网络RCAN。

我的思考

作者用压缩感知领域的字典和稀疏编码的思路来设计轻量化稀疏学习网络同时处理图像与事件信息是一个新颖的思路，利用对稀疏编码ɑ进行迭代优化的方式巧妙地将事件信息作用在图像信息中，完成清晰图像的生成，解决了运动模糊的问题。不过针对去噪和超分辨率这两个问题，作者在模型设计时只是简单提了一下，说利用作用在事件流和潜在清晰图像Dx上的卷积操作就可以实现去噪和超分辨率了，并在实验部分用更高的PSNR和SSIM指标来验证模型确实有超分辨率的效果，但是我认为只是单纯用基于数据驱动的卷积运算来解决事件相机的去噪和超分辨率问题，还有很大的提升空间。

标题：Learning to Super-Resolve Blurry Images With Events

论文地址：https://ieeexplore.ieee.org/document/10029887

论文源码：https://github.com/ShinyWang33/eSL-Net-Plusplus

摘要

由于运动模糊和低空间分辨率，单运动模糊图像（SRB）的超分辨率是一个严重的不适定问题。在本文中，作者利用事件数据来减轻SRB的情况，并提出了一种基于事件增强的SRB (E-SRB)算法，该算法可以从一张低分辨率的模糊图像生成一系列清晰清晰的高分辨率图像。为了达到这一目的，作者设计了一个基于事件增强的图像退化模型，同时考虑低空间分辨率、运动模糊和事件噪声。然后，作者基于双重稀疏学习方案构建了一个基于事件增强的稀疏学习网络(eSL-Net++)，其中事件和强度图像都用稀疏表示建模。此外，作者还提出了一种基于事件的shuffle-and-merge方案，将单帧SRB扩展到序列帧SRB，而无需任何额外的训练过程。在合成数据集和真实数据集上的实验结果表明，提出的eSL-Net++在很大程度上优于最先进的方法。

目前需要解决的问题

1）运动由模糊变清晰。事件数据嵌入的帧内信息补偿了模糊低分辨率图像中被擦除的运动和纹理信息。

2）超分辨率。当遇到运动模糊时，事件数据极高的时间分辨率保持了动态场景帧内的时间连续性。因此，类似于视频超分辨率，即使是单个运动模糊图像，也可以通过事件数据的时间相关性来提高超分辨率性能。

作者的贡献

1）作者提出采用事件来提高SRB的性能，其中基于事件增强的图像退化模型(EDM)考虑了事件噪声、运动模糊和低空间分辨率。

2）作者提出了一种基于双稀疏学习方案的eSL-Net++来解决E-SRB的挑战，其中事件噪声抑制、运动去模糊和图像SR同时得到解决。

3）作者提出了一种严格的事件shuffle-and-merge方案，将eSL-Net++扩展到从单个模糊LR图像中恢复高帧率HR视频序列，而无需任何额外的训练过程。

算法理论

图3 eSL-Net++的模型流程

图4 eSL-Net++的模型细节

实验结果

我的思考

虽然同样都是基于数据增强的稀疏学习模型，相比于eSL-Net，eSL-Net++主要的优化在于它不仅仅是将事件通过卷积直接作用在图像上来迭代计算图像的稀疏编码ɑ，而是也将图像作用在事件上来迭代计算事件的稀疏编码β，通过这种相互作用的编码方式实现两种模态的信息相互补偿，虽然最终的清晰图像生成还是得依靠图像的稀疏编码ɑ，但是在图像对事件的补偿过程中同样能够对事件进行有效地去噪，能够间接性提高最终清晰图像的生成精度。

综上，eSL-Net和eSL-Net++最值得借鉴学习的地方就是，两者利用稀疏编码的思想对图像和事件进行处理的过程，需要进一步查看源码来学习。