保护隐私的 Structure-from-Motion （SfM）

标题：Privacy Preserving Structure-from-Motion

作者：Marcel Geppert, Viktor Larsson, Pablo Speciale, Johannes L. Schönberger, Marc Pollefeys

来源：ECCV 2020

编译：鞠季宏

审核：Lionheart

摘要

视觉定位和制图解决方案在过去的几年中越来越多地被增强现实和机器人系统采用。云上定位和制图系统的新趋势引起了人们对隐私的极大关注。这些服务要求用户上传视觉数据传输到其服务器。然而即使是衍生图像，也包含着潜在的机密信息。最近的研究通过隐藏查询图像和数据库地图的几何信息，解决了图像定位任务的隐私问题。（编者按：这里的研究指Speciale et. al.的Privacy Preserving Image-Based Localization。）该方法的核心思想是将2D / 3D特征点转换为随机的2D / 3D线，且仍然确保足够的几何约束来进行相机姿态估计。在本文中，我们进一步基于此想法提出了基于随机线特征的 Structure-from-Motion 解决方案。在这项工作中，我们向实现保护隐私的云上制图解决方案迈出了坚实的一步。在具有挑战性的真实数据集上进行的各种实验证明了我们的方法的实用性，获得了与标准Structure-from-Motion系统相媲美的结果。

主要贡献

☐ 基于线特征的端到端隐私保护 Structure-from-Motion （SfM）方案

☐ 针对渐增 SfM 系统的每一个步骤：初始化（initializatoin）、三角剖分（triangulation）、相机几何校准（camera resectioning）和光束法平差（bundle adjustment）提出了基于线特征的隐私保护方案

☐ 提出的方案高效且鲁棒，可以与传统基于点特征的方法相媲美

方法概述

本文中提到的隐私是指用户上传云端的图像可能包含隐私信息，即便原始图像被删除或严格加密，3D点云和SIFT特征仍然保留有足够的信息恢复原始图像，从而泄露用户隐私。下图的示例中，左图为用户原始图像，右图为使用InvSfM由3D点云和SIFT特征重构的图像，用户的身份信息在右图中清晰可辨。

解决这个问题的方法是将2D的关键点替换为随机穿过该点的一条线。下图中由左至右依次为关键点、关键点和穿过关键点的随机线、移除关键点后剩余的线。本文提出的 Structure-from-Motion 方案使用这些随机的线（下图右）和相应的SIFT特征，而不是传统的关键点（下图左）和SIFT特征，从而达到保护用户隐私的目的。

下面我们依次介绍该方案的四个组成部分：初始化（initialization）、三角剖分（triangulation）、相机几何校准（camera resectioning）和光束法平差（bundle adjustment）

初始化（initialization）

传统基于点的 SfM 系統只需两个视图即可估计相对位姿，提供相机位姿的初始化，而基于线的 SfM 系统需要至少四个视图进行相对位姿估计。尽管四视图相对位姿估计理论上可行，实际上暂时还没有简易的解法。本文假设视图中的重力方向已知，提出了一种提供近似解的替代方案：

首先，随机选取关键点转换为沿重力方向的线：

然后将其余关键点转变为随机方向的线：

视图的重力方向可以由手机、相机等拍照设备的重力感应模块提供。同时，由于重力方向已知，假设三维空间重力方向不变，我们只需估计相机位姿的平移相（tx, ty, tz) 和沿重力方向的旋转角度 θ （即偏航角）。

这四个变量的估计可以分解为两个步骤：

1. 使用沿重力方向的线估计 tx，tz 和 θ，该问题转变为二维空间里的位姿估计问题。

2. 使用随机方向的线，在保持步骤1所得 tx，tz 和 θ 不变的基础上， 估计剩余的变量 ty， 即相机的高度。

三角剖分（triangulation）

有了位姿初始化，SfM 系统还需要三角剖分的方法，即提供二维到三维的对应关系。视图中的二维线l1、l2、l3投影到三维空间中形成三个平面相交于三维空间中的一个点，构成类比于双视图二维点到三维点的对应关系：

相机几何校准（camera resectioning）

相比于传统的二维点到三维点的对应关系，二维线到三维点的对应关系需要最少6个点线对应估计相机位姿。直观上讲，每一个二维线（如下图中l1）和三维点（如下图X1）的对应关系提供 1 个约束，所以估计相机位姿的6个参数需要至少6个点线对应。

本文使用Kubelova et. al.的 E3Q3 解算器高效估计相机位姿。

光束法平差（bundle adjustment）

光束法平差可以有效地消除 SfM 系统中三角剖分和相机几何校准时的累积误差。本文在这一步最小化三维点在视图上的映射到其相应的二维线的距离r ：

主要结果

Table 2 展示该方法的再投影误差可以与传统方法相比。Fig. 7 显示制图结果也可以与传统方法相媲美：

以及最重要的隐私保护结果：Fig. 8 显示该方法比传统方法在被 InvSfM 方法重构时可以更好地保护用户图像中的隐私信息。

总结

☐ 本文提出了基于线特征的 Structure-from-Motion （SfM）方案

☐ 相比于传统的点特征，随机方向的线特征可以更好地保护用户隐私，且并不损失定位和制图的精度

Abstract

Over the last years, visual localization and mapping solutions have been adopted by an increasing number of mixed reality and robotics systems. The recent trend towards cloud-based localization and mapping systems has raised significant privacy concerns. These are mainly grounded by the fact that these services require users to upload visual data to their servers, which can reveal potentially confidential information, even if only derived image features are uploaded. Recent research addresses some of these concerns for the task of image-based localization by concealing the geometry of the query images and database maps. The core idea of the approach is to lift 2D/3D feature points to random lines, while still providing sufficient constraints for camera pose estimation. In this paper, we further build upon this idea and propose solutions to the different core algorithms of an incremental Structure-from-Motion pipeline based on random line features. With this work, we make another fundamental step towards enabling privacy preserving cloud-based mapping solutions. Various experiments on challenging real-world datasets demonstrate the practicality of our approach achieving comparable results to standard Structure-from-Motion systems.

本文仅做学术分享，如有侵权，请联系删文。