【目标检测】开源 | 事件相机：使用卷积神经网络，利用现有的标记数据的实现从图像到事件的生成！

论文地址： https://arxiv.org/pdf/1912.01584.pdf

代码： 公众号回复：1912.01584

来源： 宾夕法尼亚大学

论文名称：EventGAN: Leveraging Large Scale Image Datasets for Event Cameras

原文作者：Alex Zihao Zhu

内容提要

与传统相机相比，事件相机有很多优点，比如跟踪速度快得令人难以置信的动作、高动态范围和低功耗。然而，它们在计算机视觉问题上的应用——其中许多问题主要由深度学习解决方案主导——由于缺乏事件的标记训练数据而受到限制。在这项工作中，我们提出一种方法，使用卷积神经网络，利用现有的标记数据的图像-事件对，实现从图像到事件的生成。我们在图像和事件对上训练这个网络，使用一个对抗性鉴别器损失和循环一致性损失。循环一致性损失利用一对预先训练的自监督网络，这些网络利用事件进行光流估计和图像重建，并约束我们的网络生成事件，从而使这两个网络都能得到准确的输出。经过全面的端到端训练，我们的网络从图像中学习事件生成模型，而不需要对场景中的运动进行精确建模，通过基于建模的方法表现出来，同时也隐式建模事件噪声。利用该模拟器，我们利用来自大规模图像数据集的模拟数据，训练了一对从事件中检测目标和2D人体姿态估计的下游网络，并展示了该网络泛化到真实事件数据集的能力。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。