如何在OpenCV中对齐RGB和Kinect深度图像？
我有一个C++项目，在这里我使用OpenCV和Libfreenect。我不想在这个过程中包括像OpenNI这样大而繁重的内容，并创建OpenCV安装依赖项。我想使用校准信息提供的here，以非扭曲和对齐的RGB和深度图像。
基于摄像机矩阵和畸变系数的图像单独去失真是非常容易的。但是现在我搞不懂如何利用校正和投影矩阵对齐RGB和深度图像，从而从同样的角度向我展示同样的东西。在搜索了相当长一段时间之后，我无法建立一个如何使用OpenCV的流程。这是一个模糊的估计，reprojectImageTo3D()和warpPerspective()可能会被使用，但我不确定如何使用。
我如何处理这个问题？我正在使用旧的XBOX360 Kinect ( 0-2047原始视差值范围)。
更新
以下是我迄今编写的部分代码：
// I use callback functions to get RGB (CV_8UC3) and depth (CV_16UC1)
// I undistort them and call the following method
void AlignImages(cv::Mat& pRGB, cv::Mat& pDepth) {
rotationMat = (cv::Mat_<double_t>(3,3) << 9.9984628826577793e-01, 1.2635359098409581e-03, -1.7487233004436643e-02, -1.4779096108364480e-03, 9.9992385683542895e-01, -1.2251380107679535e-02, 1.7470421412464927e-02, 1.2275341476520762e-02, 9.9977202419716948e-01);
translationMat = (cv::Mat_<double_t>(3,1) << 1.9985242312092553e-02, -7.4423738761617583e-04, -1.0916736334336222e-02);
// make a copy in float to convert raw depth data to physical distance
cv::Mat tempDst;
pDepth.convertTo(tempDst, CV_32F);
// create a 3 channel image of precision double for the 3D points
cv::Mat tempDst3D = cv::Mat(cv::Size(640, 480), CV_64FC3, double(0));
float_t* tempDstData = (float_t*)tempDst.data;
double_t* tempDst3DData = (double_t*)tempDst3D.data;
size_t pixelSize = tempDst.step / sizeof(float_t);
size_t pixel3DSize = tempDst3D.step / sizeof(double_t);
for (int row=0; row < tempDst.rows; row++) {
for (int col=0; col < tempDst.cols; col++) {
// convert raw depth values to physical distance (in metres)
float_t& pixel = tempDstData[pixelSize * row + col];
pixel = 0.1236 * tanf(pixel/2842.5 + 1.1863);
// reproject physical distance values to 3D space
double_t& pixel3D_X = tempDst3DData[pixel3DSize * row + col];
double_t& pixel3D_Y = tempDst3DData[pixel3DSize * row + col +1];
double_t& pixel3D_Z = tempDst3DData[pixel3DSize * row + col + 2];
pixel3D_X = (row - 3.3930780975300314e+02) * pixel / 5.9421434211923247e+02;
pixel3D_Y = (col - 2.4273913761751615e+02) * pixel / 5.9104053696870778e+02;
pixel3D_Z = pixel;
}
}
tempDst3D = rotationMat * tempDst3D + translationMat;
}我直接使用这些数字，而不是将它们分配给变量，但这不应该是理解逻辑的一个问题。在这一点上，我应该做以下几点：
P2D_rgb.x = (P3D'.x * fx_rgb / P3D'.z) + cx_rgb
P2D_rgb.y = (P3D'.y * fy_rgb / P3D'.z) + cy_rgb但我不明白我该怎么做，确切地说。也许我完全走错了方向。但我找不到这样做的例子。
回答 2
Stack Overflow用户
发布于 2014-02-18 10:57:13
基本上，您需要更改3D坐标系统，以将深度摄像机所看到的3D点转换为RGB摄像机所看到的3D点。
您不能使用函数reprojectImageTo3D()，因为它需要一个没有的矩阵q。相反，您应该使用链接的页面中提供的函数raw_depth_to_meters将您的视差图转换为深度图。
然后，对于深度图的每个像素，您需要计算相关的3D点，在链接的页面中以P3D表示(参见§“用颜色像素映射深度像素”)。然后，需要将所提供的三维旋转矩阵R和三维平移向量T (表示从深度摄像机到RGB摄像机的转换)应用到每个3D点P3D中，以获得相关的新的3D点P3D'。最后，使用RGB摄像机的校准矩阵，您可以将新的3D点投影到RGB图像中，并将相关的深度分配给所获得的像素，从而生成与RGB图像对齐的新深度图。
请注意，您在处理过程中必然会丢失精度，因为您需要处理封闭性(只保留每个像素所看到的最小深度)和图像内插(因为通常情况下，投影的3D点不会与RGB图像中的整数像素坐标相关联)。关于图像插值，我建议您使用最近的邻居方法，否则您可能会在深度边界出现奇怪的行为。
问题更新后的编辑
为了将Kinect深度图重新映射到RGB摄像机的角度，下面是您应该做的一个模型：
cv::Mat_<float> pt(3,1), R(3,3), t(3,1);
// Initialize R & t here
depthmap_rgbcam = cv::Mat::zeros(height,width,CV_32FC1); // Initialize the depthmap to all zeros
float *depthmap_rgbcam_buffer = (float*)depthmap_rgbcam.data;
for(int row=0; row<height; ++row)
{
for(int col=0; col<width; ++col)
{
// Convert kinect raw disparity to depth
float raw_disparity = kinect_disparity_map_buffer[width*row+col];
float depth_depthcam = disparity_to_depth(raw_disparity);
// Map depthcam depth to 3D point
pt(0) = depth*(col-cx_depthcam)/fx_depthcam; // No need for a 3D point buffer
pt(1) = depth*(row-cy_depthcam)/fy_depthcam; // here, unless you need one.
pt(2) = depth;
// Rotate and translate 3D point
pt = R*pt+t;
// If required, apply rgbcam lens distortion to X, Y and Z here.
// Project 3D point to rgbcam
float x_rgbcam = fx_rgbcam*pt(0)/pt(2)+cx_rgbcam;
float y_rgbcam = fy_rgbcam*pt(1)/pt(2)+cy_rgbcam;
// "Interpolate" pixel coordinates (Nearest Neighbors, as discussed above)
int px_rgbcam = cvRound(x_rgbcam);
int py_rgbcam = cvRound(y_rgbcam);
// Handle 3D occlusions
float &depth_rgbcam = depthmap_rgbcam_buffer[width*py_rgbcam+px_rgbcam];
if(depth_rgbcam==0 || depth_depthcam<depth_rgbcam)
depth_rgbcam = depth_depthcam;
}
}这就是想法，模组可能的排字。您还可以根据自己的喜好对数据类型进行一致的更改。关于您的评论，我认为目前还没有任何内置的OpenCV函数。
Stack Overflow用户
发布于 2016-01-11 14:15:23
在opencv_contrib (rgbd模块)中添加了一个向外部摄像机注册深度的注册函数：contrib/commit/f5ef071c117817b0e98b2bf509407f0c7a60efd7
https://stackoverflow.com/questions/21849512
复制相似问题
腾讯云开发者
