前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >手眼标定过程记录

手眼标定过程记录

作者头像
全栈程序员站长
发布2022-09-01 10:53:47
7540
发布2022-09-01 10:53:47
举报

大家好,又见面了,我是你们的朋友全栈君。

手眼标定过程记录

============================================================================================

以下四个变量是最重要的数据

代码语言:javascript
复制
rvecs_rb2gripper, tvecs_rb2gripper
rvecs_cam, tvecs_cam

1. 首先排查机械臂末端到底座的旋转平移是否正确

通过查看clopema_certh_ros 1.首先末端到底座的变换,listen的结果居然求逆了。

代码语言:javascript
复制
gripper_to_base.push_back(tr.inverse()) ;

2.然后标定板到相机的变换 最重要的rvecs和tvecs是通过下面的函数得到的,收集好所有帧的imagepoints一次性运算出所有外参

代码语言:javascript
复制
cv::calibrateCamera

而glawgow是通过对每一帧的imagepoints采用下面的函数获得每一次的外参矩阵的

代码语言:javascript
复制
solvePnPRansac

具体函数如下:

代码语言:javascript
复制
cv::calibrateCamera(objectPoints, imagePoints, imageSize, cameraMatrix, distCoeffs, rvecs, tvecs, flags|CV_CALIB_FIX_K4|CV_CALIB_FIX_K5);
代码语言:javascript
复制
solvePnPRansac(objectPoints, imagePoints, cameraMatrix, distCoeffs, rvecEx, tvecEx, false, 100, 1.0, 0.99, inliers);

2. 关于容器中使用Eigen的报错:

代码语言:javascript
复制
/usr/include/eigen3/Eigen/src/Core/DenseStorage.h:128: Eigen::internal::plain_array<T, Size, MatrixOrArrayOptions, 32>::plain_array() [with T = double; int Size = 16; int MatrixOrArrayOptions = 0]: Assertion `(reinterpret_cast<size_t>(eigen_unaligned_array_assert_workaround_gcc47(array)) & (31)) == 0 && "this assertion is explained here: " "http://eigen.tuxfamily.org/dox-devel/group__TopicUnalignedArrayAssert.html" " **** READ THIS WEB PAGE !!! ****"' failed.
Aborted
解决方法:

头文件里添加如下:

代码语言:javascript
复制
#include <Eigen/StdVector>
using namespace Eigen;
EIGEN_DEFINE_STL_VECTOR_SPECIALIZATION(Eigen::Affine3d)//解决vector中Eigen对齐的问题
参考

eigen官网


3. 关于tool0_controller报错的问题

2017/12/29 由于ur_modern_driver需要修改urdf,即用modern_driver进行ur驱动协助手眼标定的时候,在ur3.urdf.xacro中添加了tool0_controller

代码语言:javascript
复制
/home/cbc/catkin_ws/src/universal_robot/ur_description/urdf/ur3.urdf.xacro

一开始以为是tool0_controller的问题,导致rviz不能正常使用,经常闪退,ur3_moveit_config更是报错打不开。报错内容如下:

代码语言:javascript
复制
[ERROR] [1515404258.018207679]: Ignoring transform for child_frame_id "tool0_controller" from authority "unknown_publisher" because of a nan value in the transform (0.000000 26815622274503241629349378993175553962225540122973894056168551426931042827562994218784229639762337459109057520690886188494020583679371347120178163255083008.000000 26815622274206272770731577112262473438093890782345820683584369763133472687942565341004009969841415624372630858128332080466218773763999513725165301565227008.000000) (-nan -nan -nan -nan)

后经查询是因为loosing the connection to the realtime port,导致tf信息丢失,并且重新获得连接后,随机发布末端位姿信息,严重影响标定过程。

解决方法:

修改ur_modern_driver里的ur_communication.cpp和ur_realtime_communication.cpp,使得在每次重连(Reconnect)的时候清空buffer等等,主要添加以下:

代码语言:javascript
复制
bzero(buf, 2048);
FD_ZERO(&readfds);
FD_SET(sockfd_, &readfds);  
参考

ur_modern_driver——issues——Wrong/random joint positions published by the driver after loosing the connection to the realtime port


4. 关于TransformBroadcaster和TransformListener

之前一直搞不清Get the transform between two frames by frame ID,到底是哪个坐标系到哪个的变换,这方面官网没有介绍清楚,查找资料结合实验验证,不保证完全正确,总结如下: 发布transform:

代码语言:javascript
复制
tf::TransformStampedTFToMsg(transform, msg_trans);
StampedTransform (const tf::Transform &input, const ros::Time &timestamp,
                  const std::string &frame_id, const std::string &child_frame_id)

表示child_frame_id在frame_id下的位姿;

接收transform:

代码语言:javascript
复制
lookupTransform (const std::string &target_frame, const std::string &source_frame,
         const ros::Time &time,  StampedTransform &transform) const

表示source_frame相对于target_frame的位置和姿态.

参考:

关于坐标系变换的一篇比较详细的


5. 关于实时显示点云,fixed frame不存在的问题

代码语言:javascript
复制
roslaunch kinect2_bridge kinect2_bridge.launch
rviz

报错内容如下:

代码语言:javascript
复制
displayed Pointcloud2 using Rviz, "fixed frame(map)does not exist"
解决方法:

主要是launch的时候,要将publish_tf置为true,并将rviz中的fixed frame填为kinect2_link

代码语言:javascript
复制
roslaunch kinect2_bridge kinect2_bridge.launch publish_tf:=true
参考:

1kinect2 fixed frame does not exist 2kinect2_link Location on Device?


6. 每次标定的流程

启动node顺序

代码语言:javascript
复制
roslaunch calibration_glasgow  baxter_handeye_calibration.launch 
rosrun    calibration_glasgow  pub_robot_trans
rosrun    calibration_glasgow  call_handeye_calib

根据标定结果修改urdf

代码语言:javascript
复制
/home/cbc/catkin_ws/src/iai_robots/iai_kinect2_description/urdf/kinect2_camera.urdf.xacro

由于reconnect的问题,rviz时常崩溃

代码语言:javascript
复制
rviz

奇怪的事情

1.rviz显示点云以前都是没有颜色的,刚才突然就有颜色了 哈哈这是因为我自己每次都拍一张静态图,然后以PointXYZ的格式读入。。。

2.标定程序上周就没有改,为什么突然就准了

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/140639.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年5月2,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 手眼标定过程记录
    • 1. 首先排查机械臂末端到底座的旋转平移是否正确
      • 2. 关于容器中使用Eigen的报错:
        • 解决方法:
        • 参考
      • 3. 关于tool0_controller报错的问题
        • 解决方法:
        • 参考
      • 4. 关于TransformBroadcaster和TransformListener
        • 参考:
      • 5. 关于实时显示点云,fixed frame不存在的问题
        • 解决方法:
        • 参考:
      • 6. 每次标定的流程
        • 奇怪的事情
        相关产品与服务
        容器服务
        腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档