点云对应检测结果生成抓取物位姿

功能： 点云对应检测结果转抓取物位姿，通过内参将点云转换为掩膜列表，将利用IOU掩膜列表对应到检测结果，只将点云列表对应的检测结果转为抓取物位姿

输入参数：

名称 类型 合法范围 缺省值 含义

相机坐标系点云

XYZPoints

无

无

点云，一般是经过点云过滤后的点云列表，因为是用内参进行转换，需要是相机坐标系下的点云，需要保证输入点云不包含nan值

图像

Image

无

无

图像， 输入可是灰度图，也可是彩色图

检测结果

DetectInstance

无

{}

返回包围框,分类,分数和polygon

相机内参

Matrix

无

无

相机内参矩阵。

相机畸变

List

无

无

相机畸变系数向量。

手眼标定矩阵

Matrix

无

[[1. 0. 0. 0.] [0. 1. 0. 0.] [0. 0. 1. 0.] [0. 0. 0. 1.]]

手眼标定矩阵, 默认为单位阵。

输出参数：

名称 类型 合法范围 缺省值 含义

抓取物位姿信息

PosesList

无

[]

抓取物位姿信息

初始化： 不需要

运行时参数：

名称 类型 合法范围 缺省值 含义

圆半径

Float

[0, 1]

0.3

圆半径比例, 相对于包围框短边一半的比例, 用于选取物体表面点云以计算深度。

抓取点z值计算方法

String

['均值', '中位数', '掩膜中心圆形区域均值']

均值

抓取点z值一般用均值计算,但针对场景下点云飞点很多的情况,用中位数去计算有可能避免飞点造成的抓取点不准的情况

使用检测结果角度

Bool

无

False

若打开，则使用检测结果中角度计算结果位姿旋转，若关闭则使用检测结果最小包围框长边对应机器人坐标系点云与坐标系轴的角度关系来做Rz的旋转

对齐策略

String

['中心点对齐', '掩膜交并比对齐']

中心点对齐

选掩膜IOU对齐时，会将输入点云通过内参转换到像素坐标，提取掩膜，然后在检测结果中对应取掩膜图像交并比最大的检测结果对齐。选中心点对齐时，会将点云通过内参转换到像素坐标，计算掩膜中心点，然后在检测结果中对应取掩膜中心点距离最小的检测结果对齐。