图像拼接--Seam-Driven Image Stitching

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1436558

缝合线驱动的图像拼接

Seam-Driven Image Stitching

Eurographics (EG) 2013

上图对比了 传统图像拼接方法 和 缝合线驱动的图像拼接

Traditional image stitching：

传统图像拼接方法流程如下：

首先对输入图像进行特征点提取，然后是特征点匹配，因为 non-planar scene geometry 和 误匹配问题，我们使用 random sample consensus (RANSAC) 来 robustly estimate the homography with the best geometric

fit。 具体来说就是 我们会不停的从所有匹配的特征点对里选择四个匹配对，如果这四个匹配对是一致的，那么它们具有同一个 homography。 这样我们会得到很多个 homography，如果两个 homography 是一样的，那么我们该 homography 的 consensus size 加 1 ，最后我们选择 consensus size 最大的 homography

a set of homographies H1 ,H2 ,… are randomly hypothesized and ranked based on their goodness-of-fit (measured in terms of consensus size). The best homography is used to warp and align the images. Seam-cutting is then applied to produce the final result

选择得到最好的 homography ，我们将图像映射到同一个坐标系下，计算 Seam-cutting

这里面的 Seam-cutting 是如何计算的了？ 具体参考文献 《Interactive Digital Photomontage》

上图左边的四张图像是输入图像，同一个场景，不同时间段拍摄的，现在我们希望合成一张图像，希望是所有人都微笑面对相机，就是希望把四张输入图像中最好的部分都包含进来。这里我们使用不同颜色的画笔来人工标记出合成图像中必须包含的部分。有了这个人工输入信息，我们使用 Graph Cut 算法 自动找出最佳 缝合线

Seam-Driven Image Stitching

缝合线驱动的图像拼接：

对输入图像进行特征点提取，然后是特征点匹配，基于匹配的特征点对，我们根据 RANSAC 算法 得到若干 homography ，我们对每个 homography 计算 seam-cut，然后我们选择 最好的 seam-cut 作为最终结果。

这里的关键是如何 挑出 best seam-cut ？

简单的来说就是在 缝合线上取一个 17×17 patch，如果我们能在输入图像中找到类似的 patch，那么这个 seam 是比较好的。如果我们不能在输入图像中找到类似的 patch，那么这个 seam 就不是很好。（合成图像需要和输入图像视觉相似性）

The idea is that a patch along the seam is perceptually plausible if it resembles a patch found in either I1 or I2 . If a patch along the seam cannot be found in either source images, it is likely to be an artifact and therefore assigned a larger error