8_手眼标定总结_auboi5机械臂与海康平面相机
经过不断地学习与调试，不断地学习网络上其他同志分享的资料，opencv手眼标定迎来了阶段性结束。实际测试结果在机械臂坐标系中X方向差5mm左右。
代码参考《https://blog.csdn.net/wanggao_1990/article/details/81435660》
注意事项：
①标定板占据相机视野1/3左右，否则找不到角点
②代码未使用opencv的手眼标定接口
③需要注意图像标定角点的顺序，由于姿态关系，可能会旋转90度，导致结果异常
测试平台与道具：
①海康工业黑白相机
②遨博i5机械臂
③Ubuntu18.04 Qt组织代码
④圆网格标定板
⑤对位置用的尖端
一、opencv手眼标定
1、操作流程
为了验证流程，只采集了5张图片，第一张图片相机平行标定板，用于调整相机焦距，剩余4张分别前后左右稍稍改变相机姿态。每个姿态需采集海康相机图片(MVS软件获取)与机械臂位姿(sdk获取)，机械臂位姿存取csv文件，之后我手动录入了xml文件中。
csv数据是机械臂基于base坐标系的位置、四元数姿态，欧拉角(ZYX)姿态。
第六行数据是标定板中心点对应机械臂位置，用于验证标定结果的手眼矩阵。
2、代码流程
①doCalibration()->runCalibration()->calibrateCamera()
如果看过之前的系列文章，再看代码，这块和网上是一致。得到相机内参和外参。
②readDatasFromFile()->attitudeVectorToMatrix()
Hg：机械臂齐次矩阵
Hc：相机外参齐次矩阵
③convertVectors2Hij()
// camera: A = A2*A1.inv(); robot: B = B2.inv()*B1
计算AX=BX中的A和B.
Hgij:机械臂的B
Hcij:相机的A
可以继续了解矩阵的左乘与右乘。
④computerHandEyeMatrix()
这块没看
⑤getWorldPos()
将像素坐标转为机械臂基坐标系下的映射。
这块也没看
我的验证结果：
前面5行是机械臂的四元数姿态；
hcg是手眼矩阵;
最后一行是像素转为Word的结果，对比(359.844,-436.166);
获取图片像素我有一个单独程序；需要各部分加起来才是相对完整，这部分有
兴趣的同志可以自己搞下。
hcg是相机相对于末端tcp的位置和姿态，如果相机像识别标定板一样可以识
别出位置和姿态，那就是单目识别标识物实现2.5D的效果了。
其实后续还有要验证的：
1>械臂固定位姿，相机拍照模板匹配的像素精度
2>增加相机拍照图片数量，对比测试结果精度提升
3>标定姿态与使用姿态一致，应该可以增加精度
对这个6维的标定结果还需要进一步加深理解。
二、9点法标定
这个是计算两个平面坐标系的相对关系，有3个自由度：位置x和y，还有一个旋转角θ.
流程：
1>相机拍摄一张图片：
2>机械臂末端走4个位置与像素点对应
3>计算矩阵
机械臂用法兰尖端分别对了4个圆的中心。
测试程序如下：
//camera pixel
cv::Mat A = (cv::Mat_(4, 3) <<
1482, 579, 1,
2221, 571, 1,
2233, 1316, 1,
1490, 1322, 1
);// 4x3
//robot base point
cv::Mat B = (cv::Mat_(4, 3) <<
412.918, -430.683, 1,
365.714, -488.583, 1,
307.422, -441.517, 1,
354.509, -383.258, 1
);
cv::Mat X;
cv::solve(A, B, X, CV_SVD);
std::cout << "X=" << std::endl << X << std::endl;
cv::Mat a1 = (cv::Mat_(1, 3) << 1370, 1450, 1.0);
//352.412 -365.895 1370 1450
//359.844 -436.166 1857 947
cv::Mat b1 = a1*X;
std::cout << "b1=" << std::endl << b1 << std::endl;
std::cout << "真实值为：" << "359.844, -436.166, 1" << std::endl;