图像拼接--Robust image stitching with multiple registrations

Robust image stitching with multiple registrations ECCV2018 本文使用多个 registrations 来增强图像拼接的效果

标准的图像拼接流程一般为：1）得到一个 single registration（这里我们使用 registration for an arbitrary (potentially non-rigid) image transformation, and homography for a line-preserving image transformation.）；2）经过 image warp，将图像 映射到同一个坐标系下面 进行 seam finding step；3） 使用 blending procedure 消除一些 unpleasant artifacts， 例如 minor misalignment, or differences in color or brightness due to different exposure or other camera characteristics

在单个registration中难以解决 parallax or motion问题，而后续步骤 seam finding 也不能补偿上述问题引入的误差

在这里插入图片描述

本文提出使用多个 registration，The seam finding stage is then free to choose different registrations for different regions of the composite output image. Note that as any registration can serve as a candidate under our scheme, it represents a generalization of methods that attempt to find a single good registration for stitching

这里我们没有使用传统的 seam finding approach，因为给定多个 registration 时，传统的 seam finding approach 不能很好的工作。不工作的原因分析如下： 1）traditional seam finding treats each pixel from the warped image equally，但是在我们 multiple registration 算法中，each of them only provides a good alignment for a particular region in the image，所以我们需要考虑 pixel-level alignment quality in the seam finding phase 2） seam finding 有时会失败导致物体重影，对于 multiple registrations 则对应物体出现多次

在这里插入图片描述

1.2 Problem formulation and our approach 问题的描述以及解决方法 这里我们采用常用的图像拼接表示方式，sometimes called perspective stitching or a flat panorama ，将图像 1 作为基准图像，然后将图像2变换到基准图像坐标系下面，再讲内容叠加到图像1上面

这里我们不是只送一个 warped ω(I1 ) 到后续步骤 seam finding phase 里，我们提取一组 多个 warping ω 1 (I1 ),…,ω N (I1 )，其中每个 warping ωi(I1) 只负责对齐 两个图像中的某一个区域。然后 Then we will formalize a multi-label MRF problem for seam finding，We will get the optimal seam by minimizing the energy function E(x) ，最后我们 adopt Poisson blending [9] to smooth transitions over stitching boundaries when generating the final result.

我们如果使用 traditional MRF energy stitch multiple registrations 得到不是很好得结果。we propose the improved MRF energy by adding (1) a new data term that describes our confidence between different warping proposals at pixel p and (2) several new smoothness terms which attempt to prevent duplication or tearing.

在这里插入图片描述

在这里插入图片描述

本文提出的算法速度应该不会太快的！

11