文章/答案/技术大牛

发布

社区首页 >问答首页 >使用openCV和Python将对象从一个图像映射到另一个图像

问使用openCV和Python将对象从一个图像映射到另一个图像
EN

Stack Overflow用户

提问于 2021-04-23 08:22:58

回答 1查看 1.2K关注 0票数 0

这是一个问题，立体声校准和纠正使用openCV (vers )。4.5.1.48)和Python (vers.3.8.5)。

我有两个相机放在同一个轴上，如下图所示：

左(上)摄像机以640x480分辨率拍照，而右(下)相机拍摄320x240分辨率的照片。目标是在右侧图像(320x240)上找到一个对象，并在左侧图像(640x480)上裁剪出相同的对象。换句话说，将构成右侧图像中的对象的矩形传输到左侧图像。下面是这个想法的草图。

在右边的图像上找到了一个红色的物体，我需要把它的位置转移到左边的图像上，然后把它裁剪出来。物体被放置在距相机镜头30厘米的平面上。换句话说，从两个镜头到平面的距离(深度)是恒定的(30厘米)。

这个主要问题是如何将一个位置从一个图像转移到另一个图像，当两个摄像机并排放置时，当图像具有不同的分辨率，何时深度是(相当)恒定的。这不是一个寻找物体的问题。

为了解决这个问题，据我所知，必须使用立体声校准，除其他外，我发现了以下文章/代码：

下面是我使用的校准模式的一个示例：

我有25张照片的校准模式与左和右相机。图案为5x9，方形尺寸为40×40 mm。

据我所知，我编写了以下代码：

import numpy as np
import cv2
import glob

CALIL = "path-to-left-images"
CALIR = "path-to-right-images"

# Termination criterias
criteria1 = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
criteria2 = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 100, 1e-5)

# Chessboard parameters
checker_size = 40.0         # Square size in world units (mm)
checker_pattern = (5, 9)    # 5 rows, 9 columns

# Flags
findChessboardCorners_flags = 0
#findChessboardCorners_flags |= cv2.CALIB_CB_ADAPTIVE_THRESH
#findChessboardCorners_flags |= cv2.CALIB_CB_NORMALIZE_IMAGE
#findChessboardCorners_flags |= cv2.CALIB_CB_FILTER_QUADS
#findChessboardCorners_flags |= cv2.CALIB_CB_FAST_CHECK

calibrateCamera_flags = 0
#calibrateCamera_flags |= cv2.CALIB_USE_INTRINSIC_GUESS
#calibrateCamera_flags |= cv2.CALIB_FIX_PRINCIPAL_POINT
#calibrateCamera_flags |= cv2.CALIB_FIX_ASPECT_RATIO
#calibrateCamera_flags |= cv2.CALIB_ZERO_TANGENT_DIST
#calibrateCamera_flags |= cv2.CALIB_FIX_K1 # K2, K3...K6
#calibrateCamera_flags |= cv2.CALIB_RATIONAL_MODEL
#calibrateCamera_flags |= cv2.CALIB_THIN_PRISM_MODEL
#calibrateCamera_flags |= cv2.CALIB_FIX_S1_S2_S3_S4
#calibrateCamera_flags |= cv2.CALIB_TILTED_MODEL
#calibrateCamera_flags |= cv2.CALIB_FIX_TAUX_TAUY

stereoCalibrate_falgs = 0
stereoCalibrate_falgs |= cv2.CALIB_FIX_INTRINSIC
#stereoCalibrate_falgs |= cv2.CALIB_USE_INTRINSIC_GUESS
#stereoCalibrate_falgs |= cv2.CALIB_USE_EXTRINSIC_GUESS
#stereoCalibrate_falgs |= cv2.CALIB_FIX_PRINCIPAL_POINT
#stereoCalibrate_falgs |= cv2.CALIB_FIX_FOCAL_LENGTH
#stereoCalibrate_falgs |= cv2.CALIB_FIX_ASPECT_RATIO
#stereoCalibrate_falgs |= cv2.CALIB_SAME_FOCAL_LENGTH
#stereoCalibrate_falgs |= cv2.CALIB_ZERO_TANGENT_DIST
#stereoCalibrate_falgs |= cv2.CALIB_FIX_K1 # K2, K3...K6
#stereoCalibrate_falgs |= cv2.CALIB_RATIONAL_MODEL
#stereoCalibrate_falgs |= cv2.CALIB_THIN_PRISM_MODEL
#stereoCalibrate_falgs |= cv2.CALIB_FIX_S1_S2_S3_S4
#stereoCalibrate_falgs |= cv2.CALIB_TILTED_MODEL
#stereoCalibrate_falgs |= cv2.CALIB_FIX_TAUX_TAUY

stereoRectify_flags = 0
stereoRectify_flags |= cv2.CALIB_ZERO_DISPARITY

# Prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((1, checker_pattern[0] * checker_pattern[1], 3), np.float32)
objp[0, :, :2] = np.mgrid[0:checker_pattern[0],
                          0:checker_pattern[1]].T.reshape(-1, 2)*checker_size

# Arrays to store object points and image points from all the images.
objPoints = []      # 3d point in real world space
imgPointsL = []     # 2d points in image plane, left image (normal)
imgPointsR = []     # 2d points in image plane, right image (thermal)

# Get calibration images
# Get all left (normal) images from directory. Sort them
images_left = glob.glob(CALIL+'*')
images_left.sort()
# Get all right (thermal) images from directory. Sort them
images_right = glob.glob(CALIR+'*')
images_right.sort()

for left_img, right_img in zip(images_left, images_right):
    # Left object points
    imgL = cv2.imread(left_img)
    grayL = cv2.cvtColor(imgL, cv2.COLOR_BGR2GRAY)

    # Find the chessboard corners
    retL, cornersL = cv2.findChessboardCorners(
        grayL, (checker_pattern[0], checker_pattern[1]), findChessboardCorners_flags)

    # Right object points
    imgR = cv2.imread(right_img)
    grayR = cv2.cvtColor(imgR, cv2.COLOR_BGR2GRAY)

    # Find the chessboard corners
    retR, cornersR = cv2.findChessboardCorners(
        grayR, (checker_pattern[0], checker_pattern[1]), findChessboardCorners_flags)

    if retL and retR:
        # If found, add object points, image points (after refining them)
        objPoints.append(objp)
        
        # Left points
        cornersL2 = cv2.cornerSubPix(
            grayL, cornersL, (5, 5), (-1, -1), criteria1)
        imgPointsL.append(cornersL2)
        
        # Right points
        cornersR2 = cv2.cornerSubPix(
            grayR, cornersR, (5, 5), (-1, -1), criteria1)
        imgPointsR.append(cornersR2)

shapeL = grayL.shape[::-1]
shapeR = grayR.shape[::-1]

# Calibrate each camera separately
retL, K1, D1, R1, T1 = cv2.calibrateCamera(
    objPoints, imgPointsL, shapeL, None, None, flags=calibrateCamera_flags)
retR, K2, D2, R2, T2 = cv2.calibrateCamera(
    objPoints, imgPointsR, shapeR, None, None, flags=calibrateCamera_flags)

# Stereo calibrate
ret, K1, D1, K2, D2, R, T, E, F = cv2.stereoCalibrate(
    objPoints, imgPointsL, imgPointsR, K1, D1, K2, D2, shapeR, flags=calibrateCamera_flags, criteria=criteria2)

# Stereo rectify
R1, R2, P1, P2, Q, roi_left, roi_right = cv2.stereoRectify(
    K1, D1, K2, D2, shapeR, R, T, flags=stereoRectify_flags, alpha=1)

# Undistort images
leftMapX, leftMapY = cv2.initUndistortRectifyMap(
    K1, D1, R1, P1, shapeL, cv2.CV_32FC1)
rightMapX, rightMapY = cv2.initUndistortRectifyMap(
    K2, D2, R2, P2, shapeR, cv2.CV_32FC1)

# Remap
left_rectified = cv2.remap(images_left[0], leftMapX, leftMapY,
                           cv2.INTER_LINEAR, cv2.BORDER_CONSTANT)
right_rectified = cv2.remap(images_right[0], rightMapX, rightMapY,
                            cv2.INTER_LINEAR, cv2.BORDER_CONSTANT)

但我得到了一个不好的结果：

我试过不同的旗子，α参数，但是什么都不管用.

问题：

如果两幅图像的resolutions?

Is是不同的，一般的工作流是正确的，还是我遗漏了什么，那么
甚至可以立体地校准和解决这个问题吗？旗子？阿尔法参数？解决这个问题的其他方法？

编辑

在米查的评论之后，我发现透视同调是(希望)解决这个问题的方法，而不是立体声校准。这是因为需要找到的物体是从两个照相机镜头(30厘米)处放置在一个固定长度/深度的平面上的。

基于新的信息，我编写了以下代码，其中使用了第一对图像来获取透视图转换矩阵：

imgL = cv2.imread(images_left[0])
imgL = cv2.cvtColor(imgL, cv2.COLOR_BGR2GRAY)
imgR = cv2.imread(images_right[0])
imgR = cv2.cvtColor(imgR, cv2.COLOR_BGR2GRAY)

ret1, corners1 = cv2.findChessboardCorners(imgL, (checker_pattern[0], checker_pattern[1]))
cornersL2 = cv2.cornerSubPix(imgL, corners1, (5, 5), (-1, -1), criteria1)

ret2, corners2 = cv2.findChessboardCorners(imgR, (checker_pattern[0], checker_pattern[1]))
cornersR2 = cv2.cornerSubPix(imgR, corners2, (5, 5), (-1, -1), criteria1)

H, _ = cv2.findHomography(cornersL2, cornersR2)

在透视变换矩阵H的基础上，利用cv2.warpPerspective()函数对标定板中的右侧图像和棋盘角进行左图像的翘曲。

但是，当我试图将其扭曲时，扭曲的图像(下面的上图像)相对于另一个(下)图像稍微偏右，如下面的图像所示：

裁剪结果如下所示，其中的区域不匹配：

我认为我需要调整扭曲图像的大小，使其与正确的图像(320x240)的分辨率相同。扭曲后的图像分辨率为640x240。

问题：

应该将刻度板放置在距相机镜头30厘米处，以便优化计算透视变换矩阵？
I有25幅来自不同角度的校准板图像。是否有必要使用所有的图像，还是只使用一个？
--我使用的是cv2.warpPerspective()函数，但是结果并不匹配。我应该使用其他函数吗？

opencv

image-processing

camera-calibration

python

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-04-26 19:02:31

我使用以下openCV函数解决了这个问题：

cv2.findChessboardCorners()
cv2.cornerSubPix()
cv2.findHomography()
cv2.warpPerspective()

我使用距离为30厘米的标定板计算透视变换矩阵，H。因此，我可以将一个物体从右边的图像映射到左边的图像。深度必须是恒定的(30厘米)，这有点问题，但在我的情况下是可以接受的。

感谢@Micka给出的好答案。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67226475

复制

相似问题

问使用openCV和Python将对象从一个图像映射到另一个图像
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用openCV和Python将对象从一个图像映射到另一个图像EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用openCV和Python将对象从一个图像映射到另一个图像
EN