ParallelEye：面向交通视觉研究构建的大规模虚拟图像集

【导读】本文介绍了来自中国科学院自动化研究所复杂系统管理与控制国家重点实验室的研究成果。针对交通视觉研究中存在的真实图像集获取和标注成本高、难以覆盖复杂自然环境、极端场景样本稀少、训练的模型适应性差等问题，中科院自动化所王飞跃研究员、王坤峰副研究员带领李轩、田永林、严岚等研究生开展了平行视觉研究。近期，他们发表了两篇论文，提出了构建人工场景和生成虚拟图像集ParallelEye的方法，并且以目标检测任务为例，验证了ParallelEye的有效性。

研究解读

1F

平行视觉和平行图像

在视觉计算研究中，对复杂环境的适应能力通常决定了视觉算法能否实际应用，已经成为该领域的研究焦点之一。王坤峰、苟超、王飞跃将复杂系统建模与调控的ACP方法引入视觉计算领域，提出了平行视觉（Parallel Vision）理论。平行视觉利用人工场景来模拟和表示复杂挑战的实际场景，通过计算实验进行各种视觉模型的训练与评估，最后借助平行执行来在线优化视觉系统，实现对复杂环境的智能感知与理解。这一虚实互动的视觉计算方法结合了计算机图形学、虚拟现实、机器学习、知识自动化等技术，是视觉系统走向应用的有效途径和自然选择。平行视觉的框架结构如下图所示。

考虑到虚拟图像在视觉计算研究中的重要性，王坤峰、王飞跃等在平行视觉的基础上，又提出了一种新的图像生成理论框架——平行图像（Parallel Imaging）。平行图像是平行视觉的一个分支，提供平行视觉研究需要的图像数据。平行图像的核心单元是软件定义的人工图像系统。从实际场景中获取特定的图像“小数据”，输入人工图像系统，解析和吸纳实际图像的特点，加入外部信息，自动生成大量新的人工图像数据。这些人工图像数据和特定的实际图像数据一起构成解决复杂视觉问题所需要的平行图像“大数据”集合，用于视觉模型的学习与评估研究。总之，平行图像遵循实际图像“小数据”→平行图像“大数据”→特定“小知识”的技术流程，如下图所示。

2F

建立虚拟数据集的意义

当前主流的深度学习方法，主要是数据驱动的。这意味着，要想建立在复杂场景下可靠运行的视觉计算模型，需要依靠大规模多样化的训练数据。由于实际场景具有高度复杂、不可控、不可重复的特点，给数据的收集带来了极大的困难。例如，收集城市中不同路段在各种时段、季节、天气、路况下的交通图像，非常费时费力。同时，收集到的这些数据只是原始数据，对这些原始数据进行精确的标注，不但费时费力，并且容易出错。

针对上述问题，可否采用更加智能的方法，高效快捷地完成对大规模多样化交通图像的采集和标注？近些年，随着计算机图形学、虚拟现实、生成式模型等技术的持续发展，给研究人员提供了解决这一问题的新思路，即建立人工场景，根据具体需求来创建虚拟数据集。在人工场景中，可以对天气、光照、人流、车流等因素灵活设置，最大程度地满足视觉模型研究对数据多样性的需求，并且在生成数据的同时，自动获得详细且精确的标注信息，从而将研究人员从数据采集和标注的枯燥劳动中解放出来，大大节省了数据获取成本，把更多精力投入到算法的开发上。更进一步，利用虚拟数据生成过程的可重复性，可以通过固定生成过程的大多数参数，来对感兴趣的因素进行研究，有利于全面评价视觉模型的性能。

转自：中国科学院自动化研究所