ポイントクラウド対応の検出結果は、グラブオブジェクトのポーズを生成します

機能説明

このオペレータは、3Dポイントクラウド情報と2D画像検出結果を組み合わせて、検出されたオブジェクトのピック姿勢を生成するために使用されます。まず、入力されたポイントクラウドのリストと入力された2D検出結果のリストをマッチングして位置合わせします。次に、位置合わせされたポイントクラウドに基づいてピックポイントの深度（Z座標）を計算し、2D検出結果の幾何学的情報（最小外接矩形など）と組み合わせてピックポイントのXY座標とZ軸周りの回転角度を決定し、最終的にロボットのベース座標系に基づいた姿勢を出力します。

使用シナリオ

  • ロボットピッキング：視覚誘導によるロボットピッキングタスクでは、ロボットが正確にピッキングできるように、識別されたオブジェクトの正確な6Dピック姿勢を計算する必要があります。

  • 姿勢推定：2D検出によるカテゴリと位置情報、および3Dポイントクラウドによる深度と形状情報を組み合わせて、空間内でのオブジェクトの完全な姿勢を推定します。

入出力

入力項目

カメラ座標系ポイントクラウド：入力ポイントクラウドのリスト。通常、検出結果から抽出されたポイントクラウドをフィルタリングまたはクラスタリングした後、ピック対象のオブジェクトに対応するポイントクラウドクラスタです。カメラ座標系のポイントクラウドである必要があり、NaN値を含んではいけません。

画像：ポイントクラウドに対応する元の画像（カラーまたはグレースケール）。ポイントクラウドをピクセル座標に再投影するために使用されます。

テスト結果：2D検出オペレータからの出力結果リスト。各結果には、オブジェクトのバウンディングボックス/ポリゴン、スコア、カテゴリ、角度などの情報が含まれます。

カメラ内部リファレンス：3x3カメラ内部パラメータ行列。

カメラの歪み：カメラの歪み係数ベクトル。

ハンドアイキャリブレーションマトリクス：カメラ座標系からロボットのベース座標系への4x4変換行列。

出力項目

位置情報をつかむ：

計算されたピック姿勢のリスト。各要素は以下の情報を含む辞書です。

  • pose：ピックオブジェクトの姿勢。

  • score：対応する2D検出結果の信頼度スコア。

  • class_name：対応する2D検出結果のカテゴリ。

  • uuid：対応する2D検出結果の一意の識別子。

  • polygon：対応する2D検出結果のポリゴン輪郭。

  • object_info：オブジェクトの寸法や面積などの情報を含む辞書。ここでの寸法と面積は実際の寸法と面積で、単位はそれぞれmmとmm^2です。

  • points_number：元のリスト内の対応する入力ポイントクラウドのインデックス。

パラメータ説明

テスト結果の角度を使用

パラメータ説明

最終出力姿勢の回転角度（Z軸周り）を、2D検出結果から提供される角度を直接使用するか、ポイントクラウドと検出結果の最小外接矩形に基づいて再計算するかを決定します。

調整説明

  • 無効（デフォルト）：検出結果の角度を直接使用しません。オペレータは、検出結果の最小外接矩形の短辺の中点を結ぶ線を計算し、それをカメラ座標系に投影してロボットのベース座標系に変換し、この線とベース座標系のX軸との間の角度を最終姿勢のRz回転として計算します。

  • 有効：入力「テスト結果」の各インスタンスから提供される角度値を最終姿勢のRz回転として直接使用します。これは通常、回転検出の場合にのみ利用可能で、他の検出結果の角度は0になります。

アライメント戦略

パラメータ説明

入力ポイントクラウドクラスタを2D検出結果とマッチングして位置合わせする方法を選択します。

調整説明

  • 中心点アライメント（デフォルト）：ポイントクラウドを画像に投影した後の中心点と検出結果マスクの中心点との間の距離を計算し、最も距離の短いものをマッチング対象として選択します。計算が速く、オブジェクト間の間隔が広く、中心点が明確に区別できるシナリオに適しています。

  • マスクIoUアライメント：ポイントクラウドを画像に投影してマスクを生成し、検出結果マスクとのIoU（Intersection over Union）を計算し、IoUが最も大きいものをマッチング対象として選択します。形状の重複を考慮するため、オブジェクトが密接している場合や部分的に遮蔽されている場合に堅牢である可能性がありますが、計算量はやや大きくなります。

キャプチャポイントのz値の計算方法

パラメータ説明

位置合わせされたポイントクラウドクラスタに基づいて、最終ピック姿勢のZ座標値を計算する方法を選択します。

調整説明

  • 平均（デフォルト）：ポイントクラウドクラスタ内のすべての点のZ座標の平均値を使用します。ポイントクラウドの品質が良く、外れ値が少ない場合に適しています。

  • 中央値：ポイントクラウドクラスタ内のすべての点のZ座標の中央値を使用します。外れ値の影響を受けにくく、より堅牢な結果が得られます。ポイントクラウドにノイズが多い場合に推奨されます。

  • マスク中心円形領域平均：検出結果の最小外接矩形の中心で、「円の半径スケール」で定義された円形領域を取得し、その領域内のポイントクラウドのZ座標の平均値を計算します。

円の半径スケール

パラメータ説明

「キャプチャポイントのz値の計算方法」が「マスク中心円形領域平均」に設定されている場合に有効です。Z値の計算に使用される円形領域の半径を定義します。この半径は、検出結果の最小外接矩形の短辺の半分の長さに対する比率です。

調整説明

このパラメータは、深度Z値を計算する際に参照されるオブジェクト表面領域のサイズを制御します。

  • 比率が小さいほど、オブジェクトの中心の非常に小さな領域の点のみが考慮され、より安定する可能性がありますが、ノイズの影響を受けやすくなります。

  • 比率が大きいほど、より広い範囲の点が考慮され、より滑らかになる可能性がありますが、表面の起伏がより多く含まれます。

パラメータ範囲

[0, 1]、デフォルト値：0.3