🟧 検出結果からピック物位姿生成

機能説明

深層学習で出力された検出結果と有序点群データを利用して、各検出対象にピック位姿を生成します。

使用シーン

深層学習を使用して画像検出とセグメンテーションを行う必要があるシーンに適用されます。

入力・出力

入力項目

検出結果:2D検出結果。各検出対象のバウンディングボックス、カテゴリ、スコア、多角形マスクなどの情報を含みます。

画像:点群データに対応する元のカメラ画像。

カメラ座標系点群:有序点群。つまり、点群の点と画像のピクセル点が一対一対応関係にある点群。カメラ座標系下の点群である必要があります。

カメラ内部パラメータ:3x3のカメラ内部パラメータマトリックス。ピクセル座標とカメラ座標の変換に使用されます。

カメラ畸変:カメラの畸変係数ベクトル。

手眼標定マトリックス:カメラ座標系からロボット基座標系への4x4同次変換マトリックス。

出力項目

ピック物位姿情報:各有効検出結果に対して生成されたピック位姿リスト。

パラメータ説明

中心点群領域半径

パラメータ説明

検出ボックス中心に位置する小さな円形領域を定義し、ピック点の深度(Z値)を計算するための点群採集に使用されます。この値は、円形領域半径の検出ボックス短辺長さの半分に対する比率です。

調整説明

  • この値を大きくする:サンプリング領域が大きくなり、より多くの点群データを平均化して、より安定した深度値を得ることができますが、物体が小さいか形状が不規則な場合、背景点が含まれて深度計算が間違う可能性があります。

  • この値を小さくする:サンプリング領域が物体中心により集中し、中心点の深度をより正確に反映できますが、中心領域に点群の穴やノイズがある場合、結果が不安定になる可能性があります。

パラメータ範囲

[0,1]、デフォルト値:0.3

ピック点Z値計算方法

パラメータ説明

上記の円形サンプリング領域内で、最終的な深度(Z値)をどのように計算するかを設定します。

調整説明

  • 平均値:サンプリング領域内のすべての有効点群深度の平均値を計算します。点群品質が良い状況に適しています。

  • 中央値:深度値の中央値を計算します。中央値の方法を利用することで「フライングポイント」や「ノイズポイント」の干渉を減らせます。点群品質が良くない状況に適しています。

検出結果角度使用

パラメータ説明

出力位姿の回転部分(特にZ軸周りの回転)をどのように決定するかを制御します。

調整説明

  • オン:2D検出結果で提供される角度を直接ピック位姿の回転として使用します。

  • オフ(デフォルト):オペレーターは検出ボックスの長辺に基づいて、手眼標定マトリックスと組み合わせて、その長辺のロボット基座標系での方向を計算し、これをピック位姿の回転として使用します。この方法は通常、ピック姿勢とロボットの運動軸の整列をより良く保証できます。