🔶点群対応検出結果からピック物位姿生成

機能説明

このオペレーターは、3次元点群情報と2次元画像検出結果を組み合わせて、検出された物体にピック位姿を生成するために使用されます。まず入力された点群リストと入力された2次元検出結果リストをマッチング整列し、次に整列された点群に基づいてピック点の深度（Z座標）を計算し、2次元検出結果の幾何情報（最小外接矩形など）と組み合わせてピック点のXY座標とZ軸周りの回転角度を決定し、最終的にロボット基座標系に基づく位姿を出力します。

使用シーン

  • ロボットピック : 視覚誘導ロボットピックタスクにおいて、識別された物体に正確な6Dピック位姿を計算し、ロボットが正確にピックできるようにします。

  • 位姿推定 : 2D検出のカテゴリ、位置情報と3D点群の深度、形状情報を組み合わせて、物体の空間における完全な位姿を推定します。

入力・出力

入力項目

カメラ座標系点群： 入力する点群リスト。通常は検出結果を抽出した後の点群がフィルタリングまたはクラスタリングされた、ピック対象物体に対応する点群クラスターです。カメラ座標系下の点群である必要があり、NaN値を含んではいけません。

画像： 点群に対応する元の画像（カラーまたはグレースケール）。点群を画像にピクセル座標として投影するために使用されます。

検出結果： 2次元検出オペレーターからの出力結果リスト。各結果は物体の境界ボックス/多角形、スコア、カテゴリ、角度などの情報を含みます。

カメラ内部パラメータ： 3x3のカメラ内部パラメータマトリックス。

カメラ畸変： カメラの畸変係数ベクトル。

手眼標定マトリックス： 4x4のカメラ座標系からロボット基座標系への変換マトリックス。

出力項目

ピック物位姿情報：

計算されたピック位姿リスト。各要素は辞書で、以下を含みます：

  • pose：ピック物位姿。

  • score：対応する2次元検出結果の信頼度スコア。

  • class_name：対応する2次元検出結果のカテゴリ。

  • uuid：対応する2次元検出結果の一意識別子。

  • polygon：対応する2次元検出結果の多角形輪郭。

  • object_info：物体のサイズ、面積などの情報を含む辞書。ここでのサイズと面積は実際のサイズと面積で、単位はmmとmm^2です。

  • points_number：対応する入力点群の元のリスト内でのインデックス。

パラメータ説明

検出結果角度使用

パラメータ説明

最終出力位姿の回転角度（Z軸周り）を、2次元検出結果が提供する角度を直接採用するか、点群と検出結果の最小外接矩形に基づいて再計算するかを決定します。

調整説明

  • オフ (デフォルト) : 検出結果の角度を直接使用しません。オペレーターは検出結果の最小外接矩形の短辺中点接続線を計算し、これをカメラ座標系に投影してロボット基座標系に変換し、この接続線と基座標系X軸との夾角を最終位姿のRz回転として計算します。

  • オン : 入力「検出結果」の各インスタンスが提供する角度値を直接最終位姿のRz回転として使用します。一般的に回転検出の場合にこの値があり、他の検出結果の角度は通常0です。

整列ストラテジー

パラメータ説明

入力された点群クラスターと2次元検出結果をマッチング整列する方法を選択します。

調整説明

  • 中心点整列（デフォルト）： 点群を画像に投影した後の中心点と検出結果マスク中心点との距離を計算し、距離が最も近いものを選択してマッチングします。計算速度が速く、物体間の距離が大きく、中心点の区別が明確なシーンに適しています。

  • マスク交集合比整列： 点群を画像に投影してマスクを生成し、検出結果マスクとの交集合比（IoU）を計算し、IoU最大のものを選択してマッチングします。形状重複を考慮し、物体が密接に接触したり部分的に遮蔽される状況により堅牢かもしれませんが、計算量がやや大きくなります。

ピック点z値計算方法

パラメータ説明

整列された点群クラスターに基づいて最終ピック位姿のZ座標値をどのように計算するかを選択します。

調整説明

  • 平均値（デフォルト）： 点群クラスター内のすべての点のZ座標平均値を使用します。点群品質が良く、フライングポイントが少ない状況に適しています。

  • 中央値： 点群クラスター内のすべての点のZ座標中央値を使用します。フライングポイントに敏感でなく、結果がより堅牢です。点群ノイズが多い場合の使用を推奨します。

  • マスク中心円形領域平均値： 検出結果の最小外接矩形中心で、「円半径比率」で定義される円形領域を取り、この領域内の点群のZ座標平均値を計算します。

円半径比率

パラメータ説明

「ピック点z値計算方法」で「マスク中心円形領域平均値」を選択した場合に有効になります。Z値計算に使用する円形領域半径を定義し、この半径は検出結果の最小外接矩形短辺半分長さに対する比率です。

調整説明

このパラメータは深度Z値計算時に参照する物体表面領域のサイズを制御します。

  • 小さい比率は物体中心の非常に小さい領域の点のみを考慮し、より安定かもしれませんがノイズの影響を受けやすくなります；

  • 大きい比率はより大きい範囲の点を考慮し、より滑らかかもしれませんがより多くの表面起伏を含みます。

パラメータ範囲

[0, 1]、デフォルト値：0.3