🟧 检测结果生成抓取物位姿

功能描述

利用深度学习输出的检测结果与有序点云数据，为每个检测目标生成抓取位姿。

使用场景

适用于需要深度学习来做图像检测和分割的场景。

输入输出

输入项

检测结果：2D检测结果，包含每个检测目标的包围框、类别、得分和多边形掩膜等信息。

图像：原始的相机图像，与点云数据对应。

相机坐标系点云：有序点云，即点云中的点与图像中的像素点有一一对应关系。必须是相机坐标系下的点云。

相机内参：3x3的相机内参矩阵，用于像素坐标和相机坐标的转换。

相机畸变：相机的畸变系数向量。

手眼标定矩阵：从相机坐标系到机器人基坐标系的4x4齐次变换矩阵。

输出项

抓取物位姿信息：为每个有效检测结果生成的抓取位姿列表。

参数说明

中心点云区域半径

参数说明

定义一个位于检测框中心的小圆形区域，用于采集点云以计算抓取点的深度(Z值)。该值是圆形区域半径相对于检测框短边长度一半的比例。

调参说明

  • 调大该值：采样区域变大，会平均更多的点云数据，有利于得到更稳定的深度值，但如果物体较小或形状不规则，可能会采到背景点，导致深度计算错误。

  • 调小该值：采样区域更集中于物体中心，能更精确地反映中心点的深度，但如果中心区域刚好有点云空洞或噪声，结果可能不稳定。

参数范围

[0,1]，默认值：0.3

抓取点Z值计算方法

参数说明

设定在上述圆形采样区域内，如何计算最终的深度(Z值)。

调参说明

  • 均值：计算采样区域内所有有效点云深度的平均值，适用于点云质量较好的情况。

  • 中位数：计算深度值的中位数。利用中位数的方法能降低"飞点"、"噪点"的干扰，适用于点云质量不佳的情况。

使用检测结果角度

参数说明

控制输出位姿的旋转部分（特别是绕Z轴的旋转）是如何确定的。

调参说明

  • 开启：直接使用2D检测结果中提供的角度作为抓取位姿的旋转。

  • 关闭（默认）：算子会根据检测框的长边，结合手眼标定矩阵，计算出该长边在机器人基坐标系下的方向，并以此作为抓取位姿的旋转。这种方法通常能更好地保证抓取姿态与机器人的运动轴对齐。