ArUco与OpenCV

小锋学长生活大爆炸

发布于 2022-05-09 16:09:07

1K0

发布于 2022-05-09 16:09:07

文章被收录于专栏：小锋学长生活大爆炸小锋学长生活大爆炸小锋学长生活大爆炸

ArUco标记可以用于增强现实、相机姿势估计和相机校准等应用场景，具体如无人机的自主降落地标、机器人定位。标记中白色部分为唯一标识的二进制编码。

生成标记

通过为每个码生成唯一标记，可以获取到更丰富的信息。在OpenCV中有25个预定义的标记字典。字典中的所有标记都包含相同数量的块或位（4×4、5×5、6×6 或 7×7），并且每个字典包含固定数量的标记（50、100、250 或 1000）。

C++：

#include <opencv2/highgui.hpp>
#include <opencv2/core.hpp>
#include <opencv2/xfeatures2d.hpp>
#include <opencv2/opencv.hpp>
#include <opencv2/imgproc.hpp>

// 导入aruco库
#include <opencv2/aruco.hpp>

using namespace std;
using namespace cv;

Mat markerImage;
// 加载预定义字典
Ptr<cv::aruco::Dictionary> dictionary = aruco::getPredefinedDictionary(cv::aruco::DICT_6X6_250);

// 生成标记
int id = 33;  // 唯一标记
int pixsize = 200;  // 图像的像素大小
aruco::drawMarker(dictionary, id, pixsize , markerImage, 1);

imshow("markerImage", markerImage);
waitKey();

Python：

import cv2 as cv
import numpy as np

# Load the predefined dictionary
dictionary = cv.aruco.Dictionary_get(cv.aruco.DICT_6X6_250)

# Generate the marker
ixsize = 200  # 图像的像素大小
id = 33 # 唯一标记
markerImage = np.zeros((ixsize , ixsize ), dtype=np.uint8)
markerImage = cv.aruco.drawMarker(dictionary, id, ixsize , markerImage, 1);

cv.imwrite("marker33.png", markerImage);

对于cv.aruco.drawMarker函数：

第一个参数视预定义字典。
第二个参数标识唯一标记，允许从 id 从 0 到 249 的 250 个标记的集合中选择具有给定 id 的标记。
第三个参数决定了生成的标记的大小。在上面的示例中，它将生成一个具有 200×200 像素的图像。
第四个参数表示将存储生成的标记的对象（上面的标记图像）。
第五个参数是厚度参数，它决定了应该将多少块作为边界添加到生成的二进制模式中。在上面的示例中，将在 6×6 生成的图案周围添加 1 位的边界，以在 200×200 像素的图像中生成具有 7×7 位的图像。

检测标记

C++：

// 加载用于生成标记的字典。
Ptr<cv::aruco::Dictionary> dictionary = getPredefinedDictionary(cv::aruco::DICT_6X6_250);
// 使用默认值初始化检测器参数
Ptr<cv::aruco::DetectorParameters> parameters = cv::aruco::DetectorParameters::create();

// 声明将包含检测到的标记角和被拒绝的候选标记的向量
vector<vector<Point2f>> markerCorners, rejectedCandidates;
// 检测到的标记的id存储在一个向量中
vector<int> markerIds;
// 检测标记
detectMarkers(markerImage, dictionary, markerCorners, markerIds, parameters, rejectedCandidates);

Python：

#Load the dictionary that was used to generate the markers.
dictionary = cv.aruco.Dictionary_get(cv.aruco.DICT_6X6_250)

# Initialize the detector parameters using default values
parameters =  cv.aruco.DetectorParameters_create()

# Detect the markers in the image
markerCorners, markerIds, rejectedCandidates = cv.aruco.detectMarkers(frame, dictionary, parameters=parameters)

对于每个成功的标记物检测，将按左上角、右上角、右下角、左下角的顺序检测标记的四个角点。在C++中，这4个检测到的角点被存储为点的向量，并且图像中的多个标记一起存储在点的向量向量中。在Python中，它们被存储为数组的Numpy数组。

在打印、剪切和放置场景中的标记时，重要的是在标记的黑色边界周围保留一些白色边框，以便可以轻松检测到它们。因此对于上面生成的Aruco图不能直接用，可以使用以下代码来增加白边：

完整代码

#include <iostream>
#include <opencv2/highgui.hpp>
#include <opencv2/core.hpp>
#include <opencv2/xfeatures2d.hpp>
#include <opencv2/opencv.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/aruco.hpp>

using namespace std;
using namespace cv;

vector<Mat> generateAruco(int nums, int pixSize=200, int border=1) {
    vector<Mat> markerImages;
    Ptr<cv::aruco::Dictionary> dictionary = aruco::getPredefinedDictionary(cv::aruco::DICT_6X6_250);
    for (int i = 0; i < nums; ++i) {
        Mat tempImage;
        aruco::drawMarker(dictionary, i, pixSize, tempImage, border);
        markerImages.push_back(tempImage);
    }
    return markerImages;
}

void detectAruco(const Mat& markerImage, vector<vector<Point2f>> &markerCorners, vector<vector<Point2f>> &rejectedCandidates, vector<int> &markerIds) {
    // 加载用于生成标记的字典。
    Ptr<cv::aruco::Dictionary> dictionary = getPredefinedDictionary(cv::aruco::DICT_6X6_250);
    // 使用默认值初始化检测器参数
    Ptr<cv::aruco::DetectorParameters> parameters = cv::aruco::DetectorParameters::create();
    // 检测标记
    detectMarkers(markerImage, dictionary, markerCorners, markerIds, parameters, rejectedCandidates);
}


int main(int argc, char* argv[])
{
    vector<Mat> markerImages = generateAruco(1);
    Mat markerImage = markerImages[0];
    vector<vector<Point2f>> markerCorners;
    vector<vector<Point2f>> rejectedCandidates;
    vector<int> markerIds;
    cv::copyMakeBorder(markerImage, markerImage, 5, 5, 5, 5, cv::BORDER_CONSTANT, Scalar(255,0,0));
    detectAruco(markerImage, markerCorners, rejectedCandidates, markerIds);
    cout << markerIds.size() << endl;

    imshow("markerImage", markerImage);
    waitKey();

    return 0;
}

一些链接

OpenCV：检测dArUco标记(单个)

在OpenCV中使用ArUco Markers的增强现实（C++ / Python）

ArUco: a minimal library for Augmented Reality applications based on OpenCV

OpenCV：检测ArUco板(多个)

代码片段记录

创建Aruco的Board板

（更：这个好像不对？？）创建Aruco中Board（与GridBoard不同，Board不限于网格形，可以是任意排列的2D、3D图形）时，出现类型错误objPoints.type() == CV_32FC3 || objPoints.type() == CV_32FC1 in function 'create'，需要转换类型：

if (markerCorners.empty()) {
    cout<<"无可用Marker"<<endl;
    return 0;
}

std::vector< std::vector< Point3f > > objPoints;
for (auto corner: markerCorners) {
    vector< Point3f > temp;
    for (int i = 0; i < 4; ++i) {
        temp.emplace_back(Point3f(corner[i].x, corner[i].y, 0));
    }
    objPoints.emplace_back(temp);
}
cv::Ptr<cv::aruco::Board> board = cv::aruco::Board::create(objPoints, dictionary, markerIds);

而对于创建GridBoard时候不需要转换，只用提供额外参数就行（毕竟已经是网格形了）：

cv::Ptr<cv::aruco::GridBoard> board =  
    cv::aruco::GridBoard::create(5,             //每行多少个Marker
                                 7,             //每列多少个Marker
                                 0.04,          //marker长度
                                 0.01,          //marker之间的间隔
                                 dictionary);   //字典

检测Board板

相对于上面创建的Board，此处有两种方式来检测：单次检测、一起检测。

对于单次检测，是分开每次检测一个，分别估计位姿：

// 估计相机位姿(相对于每一个marker)
cv::aruco::estimatePoseSingleMarkers(markerCorners, 0.055, cameraMatrix, distCoeffs, rvecs, tvecs);

输出：

R_{camera<---marker} :[-0.0003413119903118433, 0.9999500428020713, 0.009989765075384124;
 0.9998031880569347, 0.0001430703615183937, 0.0198384647103005;
 0.01983604439689155, 0.00999457007618388, -0.9997532895228086]
t_{camera<---marker} :[0.236643, 0.554003, 1.73982]

R_{camera<---marker} :[-0.9987024032747158, -0.04667896450031111, 0.02036133508603012;
 -0.03554963247130007, 0.9252917858620086, 0.3775861949905609;
 -0.03646550869605953, 0.3763724024014953, -0.9257505503028689]
t_{camera<---marker} :[-0.353789, 0.2201, 1.68946]

R_{camera<---marker} :[0.9926712669967025, 0.0045609525196265, 0.120759899765092;
 0.01132149090445043, -0.998402461553577, -0.05535655884769745;
 0.1203145025458768, 0.05631804751473418, -0.9911370732654825]
t_{camera<---marker} :[0.164678, 0.105936, 1.38113]

R_{camera<---marker} :[0.974149731293016, -0.09977617778369052, -0.2026746539866854;
 -0.04192481488856337, -0.961439121983884, 0.2718034668936692;
 -0.2219788524123525, -0.2562801768879826, -0.9407687601190632]
t_{camera<---marker} :[0.745065, 0.110989, 1.73927]

R_{camera<---marker} :[0.001805456772273173, -0.995139605508609, -0.09845763491986455;
 -0.9661010203335827, -0.02715349161609959, 0.2567323633737377;
 -0.2581580113733717, 0.09465650237159776, -0.9614544127115553]
t_{camera<---marker} :[0.153552, -0.265153, 1.90376]

而一起检测，是对所有的一起检测后，算一个总的位姿：（比较适用于需要高精度、有遮挡、有形变的情况）

// 估计相机位姿(相对于 aruco 板)
int valid = cv::aruco::estimatePoseBoard(markerCorners, markerIds, board, cameraMatrix, distCoeffs, rvec, tvec);

输出：

R_{camera<---marker} :[0.009618842263444671, -0.07316045611916067, -0.997273796674688;
 -0.7388014820617763, -0.672599545516235, 0.04221636501022974;
 -0.6738544709184865, 0.7363812864486647, -0.06052068234393715]
t_{camera<---marker} :[-5.07066, 571.684, -24.9751]

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2022-04-22，如有侵权请联系 cloudcommunity@tencent.com 删除

opencv